18、Ceph性能调优指南

Ceph性能调优指南

1. 内存分配

Ceph节点的内存分配对性能影响显著。若节点内存不足，无法为每个OSD提供4GB内存，就需降低 osd_memory_target 变量值，防止节点内存耗尽。而当节点内存充足时，建议增大该变量，让Ceph充分利用已安装内存。为OSD和RocksDB分配足够内存后，多余内存会用作数据缓存，有效提升高百分比读I/O性能。当前自动调优算法速度较慢，调整 osd_memory_target 变量后，至少需24 - 48小时才能看到完整效果。

2. WAL延迟写入

BlueStore可将写入操作记录到RocksDB的WAL中，后续再刷新，实现写入合并与排序。对于使用旋转磁盘和基于闪存设备运行RocksDB的集群，此功能可大幅提升性能。
- 默认情况下，若OSD为旋转HDD，小于等于32KB的写入会先写入OSD的WAL，然后向客户端确认并返回。该行为由 bluestore_prefer_deferred_size_hdd 变量控制。若调整该值，将更大写入操作延迟到WAL，可降低延迟、提高IOPS，但需考虑存储WAL的闪存设备的写入负载。
- BlueStore配置还限制了OSD在强制将写入刷新到磁盘前可排队的写入数量，由 bluestore_deferred_batch_ops 变量控制，默认值为64。增大该值可能提高总吞吐量，但会使HDD长时间处于饱和状态，增加平均延迟。

3. Filestore性能调优

多数情况下，BlueStore性能优于Filestore，建议将集群升级到Bl