运维干货—硬盘容量不均衡导致的缓存盘寿命急速衰减

分布式存储—硬盘容量不均衡导致的缓存盘寿命急速衰减分析

Ceph分布式存储在扩展性、可靠性、性能上具备独特的优势，可以实现快速扩展多台服务器，动态伸缩到PB级容量，多副本机制保障数据高可靠，数据均衡分布，并发性能高等场景。目前广泛应用于互联网、科研、教育、制造业、政府等诸多领域。ZStack云平台目前支持对接Ceph分布式存储，使用的是分布式块存储，即使用librbd的块设备接口提供给Qemu访问，进行云主机、云盘的IO读写。

虽然Ceph分布式存储具备上述的优势特点，但在实践中，对硬件的选择及配置均存在特别要求，尤其是硬盘、网络上，如果配置不当，存储的可靠性和性能均会受到影响。

最近在日常巡检一套ZStack生产环境的Ceph分布式存储时，我们发现客户新购的五台服务器的SSD寿命损耗存在异常。具体的现象是使用半年后，服务器带外管理界面看到SSD的寿命损耗只剩下89%，但使用smartctl读取介质损耗参数依然显示为100%。

此时会很疑惑，到底哪个数据更可靠，如果SSD寿命只剩下89%，那么如何去调整优化Ceph分布式存储？

问题回顾

针对这个问题，我们回顾一下这套分布式存储的架构。当时采用了新购+利旧的方案来部署分布式存储。

相应的配置信息如下：

其中，新购的5台机器采用了Intel Xeon E5-2660 v4的CPU，内存为256G，机器整体可插入8块3.5寸硬盘，采用了两块480G SSD硬盘配置RAID1安装系统，采用一块960G SSD做Ceph分布式存储的缓存盘，每个缓存盘对应了5个OSD数据盘，每个缓存分区约160G的容量，每个OSD容量4T。存储采用万兆网络，做链路聚合 LACP Mode 4。

利旧的4台机器采用了Intel Xeon E5-2697 V3的CPU，内存为256G，机器整体可以插入可插入8块