GlusterFS企业级功能之EC纠删码

EC卷具有很大的修复开销,这主要是由于RS码本身的特性所导致的,在配置为(D+R)的RS码中修复任何一个数据块时,都需要从磁盘上读取D块的其他数据块,然后在网络上传输,最后使用算法计算恢复.比如在4+2的配置中,丢失任何一个数据块都将必须读取至少4个数据块来修复,在整个修复过程中会占用大量磁盘I/O以及网络流量,并且会使得系统暴露在一种降级的不稳定状态.那么使用较小的D值就能在很大程度上降低修复的开销,还能提高存储的可靠性,但这会降低存储利用率,这就需要在性能和存储空间利用率之间做权衡了.

在EC卷中,无论是读操作、写操作,还是修改操作都需要做大量的计算、通信、下发文件锁等操作.就拿写操作来说,以在配置为(4+2)的EC卷中写一个chunk数据块为例,a.把这个chunk块切分为4个fragment原始数据块；b.读4个原始数据块；c.计算得出2个校验数据块；d.对每个数据块下发文件锁,并添加扩展属性；e.把6个数据块统一写入底层brick中；f.写入成功后,擦除扩展属性.当然,这仅仅只是大概流程,在这其中至少包含10个文件锁、20次通信、5个状态机等等操作.那么是否可以考虑从优化Gluster中关于EC卷的源码这方面来提升EC卷的性能,例如把其中的一些重复操作合并,去除一些不必要的操作,优化算法,从根本上去解决问题,当然这属于对Gluster做二次研发了,还需做具体的调研,在这里就不细说了.

EC卷的的核心是以计算换容量,其性能较复制卷略差,但具有更高的存储利用率.那么从实际应用的角度出发,可以这样使用EC卷：创建Tier分层来存储数据,热卷使用复制卷,冷卷使用EC卷.在实际应用中热数据就直接存入复制卷中,当热数据变为冷数据后再把数据迁移到EC卷中,这样就既提供了较高的性能,又保证了较高的存储利用率.

文章来 自微信公众号：运维帮

（编辑：辽源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!