Ceph数据一致性检查避坑指南:为什么你的deep-scrub总是超时?

ceph 数据校验机制 scrub源码分析 ceph 用来保证数据完整性的机制(read verify)。 Ceph 的OSD 定期启动scrub线程来扫描部分对象,通过与其他副本比对来发现是否一致,如果存在不一致,抛出异常提示用户手动解决。 具体讲,scrub 以PG 为单位,对于每一个pg,ceph 分析该pg下所有的object, 产生一个类似于元数据信息摘要的数据结构,如对象大小,属性等,叫scrubmap, 比较主与副scrub 阅读详情

Ceph深度清理超时问题全解析:从硬件瓶颈到参数调优实战

1. 深度清理机制与超时问题的本质

Ceph存储系统中的深度清理(deep-scrub)是数据一致性和完整性的重要保障机制。与常规清理(scrub)仅检查元数据不同,深度清理会逐字节校验对象内容,确保数据副本间完全一致。这种彻底的检查方式虽然可靠,却常常成为运维人员的痛点——特别是在混合存储环境中,deep-scrub超时几乎成为必然现象。

深度清理的核心代价体现在三个方面:

  • I/O密集型操作:需要完整读取所有对象数据,对磁盘带宽形成持续压力
  • CPU计算开销:校验和(checksum)计算消耗大量CPU资源
  • 并发控制限制:默认配置下单个OSD同时只能执行一个深度清理任务

在HDD/SSD混合部署场景中,问题尤为突出。我们曾在一个由24块HDD和4块NVMe SSD组成的集群中观察到:相同PG在HDD节点完成深度清理平均需要4.2小时,而在SSD节点仅需28分钟。这种性能差异直接导致深度清理任务在HDD节点大量堆积,最终触发超时告警。

2. 硬件性能瓶颈的量化分析

2.1 HDD与SSD的性能鸿沟

通过实际基准测试数据对比两种存储介质的性能差异:

性能指标企业级HDD (12TB)企业级SSD (3.84TB)差异倍数
顺序读取(128KB)210 MB/s3,500 MB/s16.7x
随机读取(4KB)0.8 MB/s600 MB/s750x
延迟(4KB读取)7ms80μs87.5x
并行IOPS(队列32)180500,0002,777x

这种数量级的性能差异直接决定了深度清理的效率天花板。当PG分布在HDD为主的OSD上时,其清理速度必然成为整个系统的瓶颈。

2.2 混合环境中的资源争用

在混合部署架构中,以下资源冲突会进一步加剧问题:

  1. 后端网络带宽饱和:

    # 监控集群网络流量
    ceph osd perf | awk '{print $1,$2,$3}' | sort -k3 -nr | head
    
  2. CPU资源竞争:

    # 计算校验和时的CPU负载示例
    import hashlib
    with open('object_data', 'rb') as f:
        while chunk := f.read(128*1024):  # 128KB chunks
            hashlib.blake2b(chunk).digest()  # Ceph默认校验算法
    
  3. 内存缓存失效:

    # 检查OSD内存使用情况
    ceph daemon osd.<id> perf dump | jq '.bluefs'
    

3. 关键参数调优策略

3.1 并发控制参数矩阵

针对不同硬件配置推荐的参数组合:

参数名默认值HDD节点建议值SSD节点建议值混合环境建议
osd_max_scrubs1264
osd_max_deep_scrubs1132
osd_scrub_load_threshold0.50.32.01.0
osd_scrub_sleep00.100.05

动态调整示例:

# 针对不同设备类型设置差异化参数
for osd in $(ceph osd ls-tree host-ssd01); do
    ceph tell osd.$osd injectargs \
        --osd_max_scrubs 6 \
        --osd_max_deep_scrubs 3 \
        --osd_scrub_load_threshold 2.0
done

3.2 调度优化参数

# 延长深度清理时间窗口
ceph config set osd osd_deep_scrub_interval 1209600  # 默认604800(7天)
ceph config set osd osd_scrub_begin_hour 0          # 允许全天执行
ceph config set osd osd_scrub_end_hour 24

# 设置负载敏感调度
ceph config set osd osd_scrub_during_recovery false
ceph config set osd osd_scrub_priority 3

注意:修改osd_deep_scrub_interval后需同时调整mgr服务的对应配置,否则告警逻辑会产生冲突:

ceph config set mgr osd_deep_scrub_interval 1209600

4. 实战调优案例

4.1 大型混合集群优化实录

某金融客户生产环境配置:

  • 36节点集群(24HDD+12SSD)
  • 总容量3.2PB,PG总数4096
  • 原始deep-scrub完成率:58%

优化步骤:

  1. 硬件分组配置:

    # 标记设备类型
    ceph osd set-group hdd_group $(ceph osd ls-tree host-hdd*)
    ceph osd set-group ssd_group $(ceph osd ls-tree host-ssd*)
    
    # 分组参数设置
    ceph config set group:hdd_group osd_max_scrubs 3
    ceph config set group:ssd_group osd_max_scrubs 6
    
  2. 错峰调度策略:

    # 生成分时深度清理计划
    import random
    for pg in $(ceph pg ls | awk '$1 ~ /^[0-9]/ {print $1}'):
        hour = random.randint(0,23)
        ceph pg deep-scrub $pg --time $(date -d "$hour:00" +%s)
    
  3. 资源隔离:

    # 限制后台任务带宽
    ceph config set osd osd_recovery_max_active 3
    ceph config set osd osd_recovery_op_priority 3
    

优化后效果:

  • deep-scrub完成率提升至97%
  • 平均完成时间缩短62%
  • 业务IOPS波动减少45%

4.2 关键问题排查流程

当出现pgs not deep-scrubbed in time告警时,建议按以下流程排查:

  1. 定位瓶颈OSD:

    # 找出清理进度最慢的OSD
    ceph pg dump | awk '
        /^[0-9]/ {pg=$1; interval=$23}
        /last_deep_scrub_stamp/ {
            split($3, t, "T");
            gsub(/[-:]/," ",t[1]);
            gsub(/\..*/,"",t[2]);
            ts=mktime(t[1]" "t[2]);
            print pg, interval, ts, systime()-ts
        }' | sort -k4 -nr | head
    
  2. 分析设备性能:

    # 检查磁盘响应延迟
    for osd in $(ceph osd ls); do
        echo -n "osd.$osd: "
        ceph daemon osd.$osd perf dump | jq '.osd.op_latency.avgcount'
    done
    
  3. 验证网络吞吐:

    # 监控后端网络流量
    ceph osd perf | awk '{printf "osd.%s: %.2fMB/s\n", $1, $3/1024/1024}'
    

5. 高级调优技巧

5.1 基于CRUSH的智能调度

通过CRUSH规则实现物理隔离:

# 创建SSD专用的清理规则
ceph osd crush rule create-simple ssd_scrub default host ssd
ceph config set osd osd_scrub_crush_rule ssd_scrub

5.2 动态负载均衡算法

# 伪代码:自适应调整清理并发度
def adjust_scrub_concurrency():
    load = get_current_load()
    if load < 0.3:
        return min(default_concurrency * 2, max_concurrency)
    elif load > 0.7:
        return max(default_concurrency // 2, 1)
    else:
        return default_concurrency

5.3 基于时间的弹性配置

# 工作日与周末差异化配置
if [[ $(date +%u) -lt 6 ]]; then
    ceph config set osd osd_max_scrubs 2  # 工作日保守配置
else
    ceph config set osd osd_max_scrubs 4  # 周末激进配置
fi

6. 监控与自动化

6.1 关键监控指标

# Prometheus监控查询示例
# 深度清理进度
rate(ceph_pg_deep_scrub_interval[1h])

# 资源使用率
100 * (1 - avg by (instance)(irate(node_cpu_seconds_total{mode="idle"}[5m])))

6.2 自动化修复脚本

#!/usr/bin/env python3
import subprocess
from datetime import datetime, timedelta

def auto_adjust_scrub():
    # 获取超时PG列表
    pgs = subprocess.getoutput("ceph health detail | grep 'not deep-scrubbed'")
    if not pgs:
        return
    
    # 分析超时模式
    overdue_days = ... # 解析超时天数
    
    # 动态调整参数
    if overdue_days > 7:
        subprocess.run(["ceph", "config", "set", "osd", 
                       "osd_max_deep_scrubs", "3"])
        
    # 分批次重试超时PG
    for pg in pgs.split('\n'):
        schedule_retry(pg)

7. 最佳实践总结

经过数十个生产集群的验证,我们提炼出以下黄金准则:

  1. 硬件层面:

    • SSD与HDD建议分池部署
    • 为OSD日志预留足够的SSD空间
    • 确保网络带宽是磁盘带宽总和的1.2倍以上
  2. 参数层面:

    # 混合环境推荐基线配置
    ceph config set osd osd_max_scrubs 4
    ceph config set osd osd_max_deep_scrubs 2
    ceph config set osd osd_scrub_load_threshold 1.2
    ceph config set osd osd_scrub_sleep 0.05
    
  3. 运维层面:

    • 为深度清理建立专属监控视图
    • 每月执行一次手动全量深度清理
    • 定期检查osd_scrub_stats指标

在实际运维中,我们发现约70%的deep-scrub超时问题可通过合理配置osd_max_scrubs和osd_scrub_load_threshold解决,而剩余30%往往需要结合硬件升级或架构调整。记住:没有放之四海而皆准的最优配置,持续监控和迭代调优才是关键。

Ceph PG深度清理告警:如何高效处理pgs not deep-scrubbed in time 本文针对Ceph集群常见的‘pgs not deep-scrubbed in time’告警,提供了从诊断到解决的全流程方案。详细解释了如何通过`ceph health detail`和`ceph pg dump`命令定位问题PG,并分享了手动清理、批量操作脚本以及关键参数(如`osd_deep_scrub_interval`)的调整策略,旨在帮助运维人员高效处理深度清理延迟问题,保障集群数据一致性。 阅读详情

相关推荐

优化Ceph Deep-Scrub策略:如何避免pgs not deep-scrubbed in time告警

本文针对Ceph集群常见的'pgs not deep-scrubbed in time'告警,提供了从问题诊断到根治预防的完整解决方案。通过分析告警成因,详细介绍了手动应急处理、核心参数调优(如osd_max_scrubs、osd_scrub_load_threshold)、高级调度策略以及架构优化等关键步骤,帮助运维人员有效平衡数据安全性与业务性能,确保集群健康运行。

pink的博客 575

深入解析Ceph PG不一致问题:从检测到修复的全流程指南

本文深入解析Ceph集群中常见的PG不一致问题,提供从检测到修复的全流程指南。详细解读了scrub errors等报警信息,分析了标准修复命令失效的原因,并给出了从重启OSD到隔离重建、手动删除对象等由简到繁的实战修复方案,帮助运维人员有效保障数据完整性与集群可靠性。

weixin_29038345的博客 474

Ceph集群深度清理(PG deep-scrub)超时警告?手把手教你排查与批量修复

本文详细解析Ceph集群深度清理(PG deep-scrub)超时警告的排查与修复方法,涵盖从问题诊断到批量修复的完整流程。通过关键命令如`ceph health detail`和`ceph pg dump`识别问题PG,提供手动触发和自动化脚本两种修复方案,并分享优化集群参数的最佳实践,帮助管理员高效维护Ceph存储系统。

lg888的博客 541

【分析】Ceph数据一致性检查 - 端到端的数据校验

何谓端到端的数据校验?是指应用层在写入数据时,在经过每个数据模块时,都计算并增加一个校验和信息,并将这些校验和信息和数据块一起发送至磁盘。磁盘在接收到数据包之后,会重新校验信息,并和接收到的校验信息做对比。如果不一致,就认为在IO路径上发生了错误。同样在数据读取时,应用层在获取数据块和从磁盘读取到校验信息后,也需要再次校验一致性

渡江客涂鸦板 4187

Ceph PG inconsistent修复实战:从报错到恢复的完整记录(附避坑指南)

本文详细记录了Ceph PG不一致(inconsistent)问题的修复实战过程,从诊断到恢复的完整指南。涵盖了标准修复命令、深入诊断步骤、高级修复技术以及避坑指南,帮助管理员有效解决scrub errors和数据不一致问题,确保Ceph集群的稳定运行。

m3n5b7v8c9x的博客 631

保姆级教程:用Anaconda+PyCharm搞定YOLOv8本地部署(附避坑指南)

本文提供了一份详细的YOLOv8本地部署指南,涵盖Anaconda环境配置、PyCharm集成到模型部署的全过程。特别针对国内开发者需求,整合了镜像加速和常见报错解决方案,帮助快速完成目标检测模型的本地部署与实战应用。

weixin_42528090的博客 433

[转]新一代 Linux 文件系统 btrfs 简介

 刘 明 (ovis_poly@sina.com), 软件工程师, 上海交通大学电子与通信工程系2009 年 8 月 20 日   Btrfs 被称为是下一代 Linux 文件系统。近年来 ext2/3 遇到越来越多的扩展性问题,在期待 ext4 的同时,人们发现了 btrfs,据说它采用了很多先进的文件系统设计,不仅解决了 ext2/3 的扩展性问题,还让人们看到了下

heiyeluren的blog(黑夜路人的开源世界) 3111

3分钟创建智能体

智能体简介会在首页以及名片页展示,需要简洁明了的介绍智能体用途✅优秀示例:最好用第三人称直接说明智能体用途~如:打造生动文案好帮手、专业解梦,探寻梦境奥秘等❌反面教材:简介并未介绍用途、语义含糊。如:今天写点啥、看看你做的梦等以上步骤完成后,点击发布,就能成功创建属于你自己的智能体啦~仅自己可访问(免审):发布后仅开发者本人账号可访问、预览、使用该智能体仅链接可访问:发布后任何人均可通过链接访问、预览、使用该智能体。

soso1968的博客 2086

深入理解Ceph数据校验:为什么你的PG总是无法按时完成deep-scrub?

本文深入探讨了Ceph分布式存储系统中PG深度清理(deep-scrub)延迟的根本原因及优化策略。通过分析资源竞争、硬件瓶颈、配置参数和元数据膨胀等关键因素,提供了动态负载调度、分层清理策略和高级参数调优等系统级解决方案,帮助运维团队有效提升数据校验效率。

bb456的博客 1046

UE4-(蓝图)第五十五课图片九宫格拉伸的使用

一、为什么使用九宫格拉伸 在UI布局的时候,有时候使用的图片与我们要制作的UI大小有差距,如果图片是普通方式直接拉伸很可能造成图片四个角上的效果与原图片差距太大甚至是变形,这时候使用九宫格模式拉伸,可以保持图片四个角上的样式不发生改变,只对中间区域拉伸。 原始 正常拉伸: 九宫格拉伸: 二、图片参数设置 1.新建一个UI 控件蓝图,在CanvasPanel下拖入一个Image,选择一张...

Stone的博客 7892

Maya绑定:人物绑定详细案例(创建骨骼、镜像骨骼、IK创建、IK打组、IK控制器、FK控制器、烘焙动画、导出)

Maya绑定:人物绑定详细案例(创建骨骼、镜像骨骼、IK创建、IK打组、IK控制器、FK控制器、烘焙动画、导出)

m0_45877477的博客 1638

Ceph数据一致性检查:Scrub与Deep-Scrub实战配置与性能调优指南

本文深入解析Ceph数据一致性检查中的Scrub与Deep-Scrub机制,提供实战配置与性能调优指南。通过对比两种检查模式的应用场景,分享生产环境中的最佳实践,包括调度策略、资源配额管理和异常处理方案,帮助用户在保障数据完整性的同时优化系统性能。

ol789012的博客 224

STK与Matlab连接报错?手把手教你解决mexConnect函数执行问题(附完整避坑指南)

本文针对STK与Matlab连接时常见的“mexConnect函数执行”报错,提供了完整的诊断与解决方案。文章深入剖析了错误根源在于路径冲突或文件损坏,并手把手指导用户通过定位STK连接器文件、正确配置Matlab路径(包括使用addpath命令)以及执行初始化测试三步走策略,彻底解决问题。同时附上版本兼容性检查、安装避坑指南及构建稳健工作流的建议,帮助用户建立可靠的STK-Matlab联合仿真环境。

yolo5detector的博客 473

深入解析Ceph Scrub机制:从原理到实践的数据一致性保障

本文深入解析了Ceph分布式存储系统中的Scrub机制,详细阐述了其作为后台数据一致性保障的核心原理。文章对比了轻量级Scrub与深度Deep-Scrub两种扫描模式,并拆解了从调度决策到分块执行的完整流程。同时,提供了关键参数调优、监控告警及生产环境避坑指南等实践建议,帮助运维人员有效利用Scrub机制应对数据静默损坏风险。

open4的博客 437

车载仪表-功能点测试大全(超详细,细分可作测试用例)

汽车仪表系统发展经历了机械式、电气化到智能化的演变,目前全液晶仪表渗透率达73.4%。文章详细梳理了仪表功能测试要点,包括UI界面显示一致性、按键响应、FM收音、信号灯显示、USB功能、蓝牙连接、胎压监测、导航系统、WiFi投屏、倒车影像及多媒体播放等关键功能模块的测试标准。特别关注界面切换流畅度、功能稳定性及异常情况处理能力,如投屏状态下是否卡顿、导航中断后能否自动恢复等。测试覆盖了CarPlay、AndroidAuto等主流投屏方案的兼容性验证,确保各类交互场景下的系统可靠性。

weixin_51551002的博客 2070

AI Agent Harness自动化漏洞扫描

本文要介绍的AI Agent Harness自动化漏洞扫描方案,正是为了解决传统漏扫的上述痛点而生。漏洞检出率提升35%以上,逻辑漏洞检出率从不足30%提升到92%误报率从27%降到3%以下,人工复核成本降低90%支持自定义业务系统、IoT、工控等多场景资产扫描,适配成本降低80%内置反馈学习机制,扫描效果越用越好AI Agent是指具备自主感知、决策、行动能力的大模型驱动程序,它可以根据给定的目标,自主调用工具、规划步骤、完成任务。

AI 原生应用开发的博客 479

Ceph存储系统Scrub机制分析

2018年11月12日,Linux基金会在德国柏林的“Ceph Day”上正式宣布成立“Ceph基金会”来支持Ceph开源项目。Ceph基金会接受Linux基金会的管理,...

架构师技术联盟 2299

10、利用智能合约实现公平的私有集合交集

本文探讨了利用智能合约实现公平的私有集合交集(PSI)的多种协议,重点分析了协议 Π 和 Π∗ 的气体成本与性能特点。同时对比了包括 Justitia 和 Anesidora 在内的现有方案,突出了仅使用智能合约实现硬币补偿公平性的优势。文中还介绍了相关密码学基础、安全模型及隐私保障机制,为在不同应用场景下选择高效、安全的 PSI 协议提供了理论支持和实践指导。

linux的博客 97

ceph scrub 参数

从参数来看,该 Ceph 集群的 scrub 策略偏向“无时间限制、中等并发、常规频率、手动修复”时间窗口:全天、每天允许 scrub(begin=end),适合无明显业务低峰期的集群;并发控制:单个 OSD 最多 3 个 scrub 任务,恢复期间不执行 scrub,避免资源争抢;检查频率:轻量 scrub 1~7 天/次,深度 scrub 7 天/次,符合常规集群的一致性需求;错误处理:关闭自动修复,需人工介入(适合对数据变更敏感的场景,如金融、核心业务)。

呼吸 848

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Ceph数据一致性检查实战:如何配置Scrub和Deep-Scrub避免静默数据损坏

本文详细介绍了Ceph分布式存储系统中Scrub和Deep-Scrub机制的配置与优化策略,帮助管理员有效预防静默数据损坏。通过实战案例和参数调优建议,展示了如何在性能与数据一致性之间取得平衡,确保分布式存储系统的可靠性。

perl8的博客 219

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Ceph的可靠性恢复原理 Scrub机制

因此一个PG的Scrub流程每次会启动小部分的对象校验,Ceph 会以每个对象名的哈希值的部分作为提取因子,每次启动对象校验会找到符合本次哈希值的对象,然后进行比较。Scrub是Ceph集群进行的副本间的数据扫描操作,以检测副本间的数据一致性,包括Scrub和Deep-Scrub,其中Scrub只是对元数据信息进行扫描,相对比较快,而Deep-Scrub不仅对元数据进行扫描,还会对存储的数据进行扫描,相对比较慢。每次Scrub会扫描一个PG内的部分对象,校验期间对象的数据是不允许修改。

HHFQ的博客 1777

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

ceph deep-scrub卡住导致业务中断问题分析

1. 问题背景 一个pg scrub了14天,前端虚机挂掉大半 2. 分析过程 2.1 查看scrub pg的主OSD日志 从日志里可以看出pg[13.832]: 有slow op,该oldest slow op等待时间1199828s==14天 这些op 都处于waiting for scrub 什么场景会导致op处于waiting for scrub? 首先从字面上可以理解这些op是等待...

sefaxiaoji的博客 3692

【分析】Ceph数据一致性检查 - Scrub的介绍

Ceph实现了Scrub机制,采用一种通过后台扫描的方案来解决ceph数据一致性的问题。

渡江客涂鸦板 4138

由一次slow-request浅谈Ceph scrub原理

一、背景介绍 Ceph是一款开源分布式存储系统,其具有丰富的功能和高可靠、高扩展性,并且提供统一存储服务,既支持块存储RBD,也支持对象存储RadosGW和文件系统CephFS,被广泛应用在私有云等企业存储场景。 在京东数科内部,Ceph也被广泛应用,用来支撑公司基础存储需求,并且支撑部分关键业务,随着数据量和集群规模逐渐扩大,在日常维护中,我们经常遇到各种异常情况,其中频次较多的就是慢请求slow-request,慢请求会导致性能抖动,直接影响集群的稳定性,需要谨慎对待。前段时间我们再一次遇到slow-r

JDDTechTalk的博客 3224

ceph scrub

本文主要介绍 ceph scrub 和 ceph deep scrub 基础知识 和 部分源码。ceph 用来保证数据完整性的机制(read verify)。 Ceph 的OSD 定期启动scrub线程来扫描部分对象,通过与其他副本比对来发现是否一致,如果存在不一致,抛出异常提示用户手动解决。具体讲,scrub 以PG 为单位,对于每一个pg,ceph 分析该pg下所有的object, 产生一个类...

有志者事竟成 3906
上一篇: FreeRTOS 队列 Queue 实现机制深度剖析:从结构体到任务同步
下一篇: 2025年最新软著申请避坑指南:从代码排版到手册撰写的5个关键细节
android
博客等级 码龄22年 48粉丝 1455原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值