网易视频云：ceph恢复优化

最新推荐文章于 2025-06-26 15:14:28 发布

原创

最新推荐文章于 2025-06-26 15:14:28 发布 · 530 阅读

1 ·

CC 4.0 BY-SA版权

在网易视频云的Ceph存储系统中，osd重启或存储机重启会导致I/O性能骤降。通过分析Ceph的一致性协议，发现恢复过程中的问题并提出优化方案，记录每次操作的修改区间，以部分恢复方式减少恢复时的网络和磁盘带宽消耗，降低对正常I/O性能的影响。优化后，osd重启恢复时间从10分钟缩短到40秒左右，I/O性能下降幅度从90%降至10%。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在在线音视频平台。

　　1.背景

　　在对ceph块存储进行性能测试时发现，当有osd重启或者存储机重启时，I/O性能会急剧下降，尤其在随机写的负载下，下降幅度达到90%，并且会持续一段时候才慢慢恢复到正常水平。一开始我们也尝试将恢复相关的参数调低（osd_recovery_max_active=1、osd_recovery_max_chunk=131072、osd_max_backfills=1），以及调整正常I/O和恢复I/O的优先级（osd_recovery_op_priority=10、osd_client_op_priority=63），但是测试结果来看，这些参数的调整没有多大的效果，随机写负载下性能下降仍然很大。

　　2.原因分析

　　在《ceph基于pglog的一致性协议》一文中分析了ceph的一致性协议，从中我们得知在osd重启、存储机重启等场景下基于pglog的恢复的时候，在peering的时候会根据pglog来构建出missing列表，然后在恢复时根据missing列表逐个进行恢复，恢复的粒度是整个对象大小（默认4MB，有可能有的对象不足4MB，就按对象大小），即使只修改了一个4KB，也需要将4MB的对象拷贝过来，这样100个io就会达到400MB的带宽，对网络及磁盘产生较大的影响。当写