本文探讨了在分布式存储系统中选择不同大小的ChunkSize所带来的影响。较小的ChunkSize能够实现更快的数据迁移速度和更均匀的数据分布，但会导致数据均衡更加频繁，并增加路由节点的资源消耗。而较大的ChunkSize则能减少数据块的分裂操作，降低层开销，但可能导致数据分布不均且在移动数据块时集中消耗IO资源。
一.选择小的ChunkSize
–优点
1.数据均衡时迁移速度更快
2.数据分布更均匀
–缺点
1.数据均衡会更频繁
2.块之间的数据分裂更频繁
备注:当一个块的数据超过块大小的50%时，块就开始分裂
3.在路由节点会消耗更多的资源用于定位
二.选择较大的ChunkSize
–优点
1.数据块更少进行分裂操作
2.层开销更小（config定位块更迅捷）
3.避免虚假的迁移
备注：一块数据，会在两个节点之间来回移动
–缺点
1.数据块移动将集中消耗IO资源
2.数据分布不太均匀
–优点
1.数据均衡时迁移速度更快
2.数据分布更均匀
–缺点
1.数据均衡会更频繁
2.块之间的数据分裂更频繁
备注:当一个块的数据超过块大小的50%时，块就开始分裂
3.在路由节点会消耗更多的资源用于定位
二.选择较大的ChunkSize
–优点
1.数据块更少进行分裂操作
2.层开销更小（config定位块更迅捷）
3.避免虚假的迁移
备注：一块数据，会在两个节点之间来回移动
–缺点
1.数据块移动将集中消耗IO资源
2.数据分布不太均匀
来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/15498/viewspace-2154870/，如需转载，请注明出处，否则将追究法律责任。
转载于:http://blog.itpub.net/15498/viewspace-2154870/
扫一扫
1626
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
