ceph - 故障测试 [目标: 延时自动执行 RECOVERY]

原创 已于 2022-03-09 11:17:06 修改 · 2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ceph

于 2017-08-15 18:03:23 首次发布
本文主要介绍了Ceph故障测试的过程，包括故障恢复的条件和日志收集。重点讨论了osd_recovery_delay_start参数的修改，用于演示150分钟的osd恢复操作，并分析了mon_osd_down_out_interval参数对自动恢复的影响。最后，文章提到了如何永久修改ceph.conf配置，并验证了osd的当前配置和操作状态。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前提:

由于磁盘故障原因,  可能会导致  ceph osd 在晚上故障,  并自动完成数据迁移并自动修复功能
当早上执行更换硬盘操作后,  数据会重新再次迁移一次,
由于出现数据自动恢复功能,  会导致数恢复期间可能与用户使用数据高峰期重叠,  会导致用户 IO 抢夺

解决目的

避免 ceph 在故障时候自动执行 RECOVERY 功能
需要人工介入执行 RECOVERY 周期

ceph 故障恢复条件说明

1 ceph osd down
2 mon 无法获得 ceph osd heartbeat 信息标注 warning 信息,  并显示
3 五分钟后,  mon 标记该 ceph osd 为 out 状态
4 当标记 out 状态后,  ceph 执行自动 recovery 操作

日志记录收集

osd down, 从 mon 中, 我们可以马上对应获得信息 但不会标注为 out 状态, 因此没有执行相应的 recovery 操作

2017-08-15 17:22:30.299262 7fd537f8b700  1 mon.ceph-node81@0(leader).osd e535 e535: 14 osds: 11 up, 14 in

ceph -s 会获得对应报警信息

health HEALTH_WARN 209 pgs degraded; 75 pgs stuck unclean; 209 pgs undersized; recovery 38/165 objects degraded (23.030%); 3/14 in osds are down

当 mon 对对应的 osd 标注为 out 之后, 系统会自动执行 recovery 操作

最低0.47元/天 解锁文章

200万优质内容无限畅学
Ceph企业级实战
悦分享
01-21 182
当对克隆的镜像没有写而是读的时候，那么读取的是被克隆的快照，明白了上面的道理所有我们知道从快照克隆的镜像是依赖于快照的，一旦快照被删除则这个克隆镜像也就毁了，所以我们要保护这个快照。​原因： 第一次在做的时候没有修改主机名是就生成了公私钥，结果拷贝的公钥有问题，在问题二推送配置的时候，排查后发现主机名的问题。之后初始化mon的时候出错，排错两个小时，差点怀疑人生的时候突然发现，想起主机名的事情，就检查了以下公私钥，结果发现生成的公私钥是以原主机名生成的，删除后生成新的公私钥，传送公钥后，还是失败。
ceph故障诊断与排错
07-25
CEPH存储峰会PPT，讲解软件定义存储CEPH的常见性能故障解决办法。
ceph 可靠性测试 单故障域故障测试、单磁盘故障测试、单节点故障测试、单机柜故障测试、故障数据重构测试
mixboot
11-11 1889
1. 单磁盘故障测试1，计算file1 file2 md5值 2，file1 拷贝到ceph存储系统的过程中拔掉硬盘，预期结果：写入过程不会中断，写入完成后，计算MD5值，对比MD5值一样 3，file2 拷贝到ceph存储系统的过程中插回硬盘，预期结果：数据重构周期内写入不会中断，写入完成后，计算MD5值，对比MD5值一样
Ceph集群恢复速度优化
最新发布
mixboot
06-26 823
本文介绍了优化Ceph集群数据恢复速度的方法。针对一个610个OSD的集群出现19个PG处于remapped状态且恢复速度仅70MiB/s的问题，通过调整三个关键参数：将osd_recovery_max_active从3提升到10，osd_max_backfills从1提升到4，osd_recovery_max_single_start从1提升到3，使恢复速度提升7.5倍，达到515MiB/s和128对象/秒。优化效果显著，恢复时间从数小时缩短至30分钟。文章还强调需监控系统资源、分阶段调整参数等注意事项，
ceph故障临界值测试
沐阳的博客
07-31 322
#! /bin/bash ############################################################# # To process the input args with "getopt" # # Now we allow input the option # -m --size n --timeout :mem operate size nG to used # -c --core n --timeout :cpu operat.
记录一次ceph recovery经历
aoe41606的博客
04-01 619
一次ceph recovery经历 背景 这是一个測试环境。 该环境中是cephfs 一共12个节点， 2个client、2个mds、8个osd mds： 2颗CPU，每一个4核。一共是8核。 128G内存， 单独的两个节点，仅仅作为mds cpu型号： Intel(R) ...
可靠性测试
Flora's Zone
10-29 1689
目录 定义 可靠性的定量描述 可靠性 软件可靠性测试广义/狭义 练习题 软件可靠性建模 软件的可靠性设计与管理 练习题 定义 可靠性是指产品在规定条件下和规定时间内完成规定功能的能力。 软件可靠性定义具有的特点 用内在的“缺陷”和外在的“失效”关系来描述可靠性，更能深刻地体现软件的本质特点 定义使人们对软件可靠性进行量化评估成为可能。对于软件的可靠性这样一个质量特征，很难...
【ceph】ceph学习：浅析开源项目之Ceph--研读
小鱼菜鸟的博客
07-22 1124
目录 1 Ceph概述2 核心组件3 IO流程4 IO顺序性5 PG一致性协议 5.1 StateMachine5.2 Failover Overview5.3 PG Peering5.4 Recovery/Backfill6 引擎概述7 FileStore 7.1 架构设计7.2 对外接口7.3 日志类型7.4 幂等操作8 BlueS...
ceph 故障解决备忘
Terry Tsang
12-22 1万+
时间问题导致报警解决方法 访问 block 导致报警解决方法 clock skew detected on mon.hh-yun-ceph-cinder025-128075 14 requests are blocked > 32 sec
ceph 译文 RADOS:A Scalable, Reliable Storage Service for Petabyte-scale Storage Clusters
周健华的专栏
05-28 9114
RADOS:A Scalable, Reliable Storage Service for Petabyte-scale Storage Clusters摘要块式和面向对象的存储架构形成了一种以提升扩展性的存储cluster。然而，现存的系统继续把存储节点作为一个被动的设备，尽管他们有能力展示智能和自治。我们提出RADOS的设计和实现，RADOS是一个可靠的面向对象服务，通过利用每个独立节点的智能
Ceph Recovery分析
redenval的专栏
10-23 4288
1.ceph recovery 概述2.相关变量及函数3.线程池与工作队列4. Ceph PGQueable5.Bufferlist及序列化6.Recovery 流程 1.ceph recovery 概述 当PG完成了Peering过程后，处于Active状态的PG就已经可以对外提供服务了。如果该PG的各个副本上有不一致的对象，就需要进行修复。Ceph的修复过程有两种：Recovery
ceph高可用测试
weixin_42340926的博客
01-10 511
暂停ceph中的某个服务 systemctl stop ceph-{种类}@结点名称 mon结点因为是Paxos算法，所以必须保证一半以上的结点可以用才行 mds（也就是文件系统）只需要保证一个结点可以使用就行 rgw需要搭载负载均衡才能在一个挂掉的情况下进行访问，否则指向挂掉的那个结点是无法进行访问的 当关掉osd集群中的一部分结点时是可以正常进行读写的，但是在osd比较少的情况下，比如有6个osd，你关掉了4个，那么可以对集群的访问是比较卡的，但是实际上是可以进行读写操作的。 读写测
ceph存储 PG的数据恢复过程
热门推荐
skdkjxy的专栏
06-03 1万+
 PG 的数据恢复过程    集群中的设备异常(异常OSD的添加删除操作)，会导致PG的各个副本间出现数据的不一致现象，这时就需要进行数据的恢复，让所有的副本都达到一致的状态。想知道如何来进行数据的恢复之前，先要了解OSD故障的种类。   一、OSD的故障和处理办法：   1. OSD的故障种类：       故障A：一个正常的OSD 因为所在的设备发生异常，导致
ceph 查看是否在恢复_Ceph osd故障恢复
weixin_39896617的博客
12-19 519
1 调高osd的日志等级加上红框那一行就可以了osd的日志路径：/var/log/ceph/ceph-osd.3.log注意：加上了这一行后日志会刷很多，所以要特别注意日志容量的变化，以防把var目录写满了2缺少osdmap或者错误的osdmap从osd日志中发现这两种错误都是属于osdmap不正常，可以从其它正常osd上拷贝osdmap到对应启动错误的osd上，假设不正常的osdmap序号是8...
ceph recovery 参数调研
Terry Tsang
12-04 1914
目标 ceph recovery 时会占用大量带宽 本文主要调研一下如何控制, 主要降低 ceph recovery 时的速度, IO 能力 查询某个 osd 当前最大读写能力 [root@cephsvr-128214 ~]# ceph tell osd.12 bench { "bytes_written": 1073741824, "blocksize...
解析Ceph: 恢复与数据一致性
周健华的专栏
05-23 5245
作为一个面向大规模的分布式存储系统，故障处理是作为一个常态异常处理。Ceph 为了细化和保证故障发生和故障恢复的集群高可用性和一致性，在设计上将故障分为两类:临时性故障: 主机升级维护，重启，掉电等等在一定时间内可以重新上线 OSD 的故障 永久性故障: 作为强一致存储系统，状态只跟存储在持久设备的数据有关，因此这类故障主要就是盘损坏或者主机损坏并无法及时转移盘到另外主机。换句话说救是一定时间内无
ceph recovery 相关参数
weixin_40548182的博客
05-27 171
可以修改的最大回填/恢复选项列在 “恢复/回填选项” 部分。mClock 的修改 默认回填/恢复限制由 osd_mclock_override_recovery_settings 选项，设置为 默认为 false。尝试修改任何默认恢复/回填限制而不设置门控选项，会将该选项重置为 mClock 默认值，并在集群日志中记录一条警告消息。请注意，默认值可能需要几秒钟才能恢复生效。请使用 config show 命令验证限制，如下所示。就直接设置以下参数，过一会就变回了默认值。简单点说官网的意思就是不设置。
【ceph】设置恢复数据速度之pg recover限流
zerotoall的博客
06-28 1602
【ceph】设置恢复数据速度之pg recover限流
ceph PG设计，状态机，peering，recovery 导图
天行健，地势坤
12-13 977
Last metadata expiration check: 0:00:14 ago on Sat 29 Mar 2025 08:37:13 PM CST. Error: Problem: conflicting requests - nothing provides libcrypto.so.10()(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides libtcmalloc.so.4()(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides libcrypto.so.10(libcrypto.so.10)(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides libleveldb.so.1()(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides liboath.so.0()(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides /usr/bin/python3.6 needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides libcrypto.so.10(OPENSSL_1.0.1_EC)(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides liboath.so.0(LIBOATH_1.10.0)(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides liboath.so.0(LIBOATH_1.2.0)(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides libform.so.5()(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides libncurses.so.5()(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph - nothing provides libtinfo.so.5()(64bit) needed by ceph-common-2:15.2.17-0.el7.x86_64 from Ceph (try to add '--skip-broken' to skip uninstallable packages or '--nobest' to use not only best candidate packages)
03-30
<think>好的，用户现在遇到了在安装ceph-common时出现的依赖错误，需要解决。根据之前的对话，用户已经按照步骤添加了Ceph仓库并尝试安装，但遇到了多个依赖缺失的问题。现在需要分析错误信息，找出原因并提供解决方案。 首先，错误信息显示缺少多个共享库和Python版本。例如，libcrypto.so.10、libtcmalloc.so.4、liboath.so.0等，以及/usr/bin/python3.6。这些依赖项通常由特定的软件包提供。可能的原因包括系统版本较旧，或者所需的软件包未安装或不在当前启用的仓库中。 接下来，需要确定用户的系统版本。用户之前可能是在CentOS/RHEL 7上操作，因为错误信息中的el7.x86_64表明软件包是针对CentOS 7的。但用户的时间戳显示是2025年，可能需要考虑系统是否更新，或者是否使用了不兼容的仓库。 可能的解决方案包括： 1. 启用EPEL仓库：EPEL提供许多额外的软件包，可能包含缺失的依赖项。 2. 启用其他第三方仓库，如PowerTools或CRB，以获取更多软件包。 3. 安装特定版本的软件包，如较旧的OpenSSL或libtcmalloc。 4. 检查Ceph版本与系统版本的兼容性，可能需要使用适合旧系统的Ceph版本。 5. 考虑升级系统到较新的版本，如CentOS 8或RHEL 8，以支持更新的依赖项。 还需要考虑用户是否按照正确的步骤添加了Ceph仓库，或者是否存在仓库配置错误。此外，用户是否已经启用了必要的额外仓库，如EPEL，这可能会提供缺失的依赖。 另外，错误中提到的Python 3.6可能意味着系统默认的Python版本较旧，需要安装Python 3.6或更高版本，或者通过其他方式提供该解释器。 需要逐步引导用户检查仓库配置，安装必要的依赖包，或者调整安装的Ceph版本以匹配系统支持的依赖项。如果用户无法找到合适的软件包，可能需要手动编译或从其他来源获取，但这可能带来维护上的复杂性。 最后，如果所有方法都无法解决，可能需要建议用户升级操作系统或选择与系统兼容的Ceph版本，以确保依赖项能够被满足。</think>--- ### **问题分析** 你遇到的错误是由于 `ceph-common` 依赖的库（如 `libcrypto.so.10`、`libtcmalloc.so.4` 等）和 Python 3.6 未在系统中找到。这些依赖通常由以下原因导致： 1. **系统版本与 Ceph 版本不兼容**：例如在 CentOS 7 上安装较新版本的 Ceph（如 Pacific/Octopus）。 2. **缺少第三方仓库支持**：如 EPEL、PowerTools 等。 3. **依赖包未安装**：例如旧版 OpenSSL、Google 的 `gperftools` 等。 --- ### **解决方案** --- #### **1. 启用必要仓库** ##### **(1) 启用 EPEL 仓库** EPEL 仓库提供额外依赖包（如 `liboath`、`python3.6`）： ```bash # CentOS/RHEL 7 sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm ``` ##### **(2) 启用 PowerTools/CRB 仓库（CentOS 8/RHEL 8+）** 如果是 CentOS 8/RHEL 8 及以上系统
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Terry_Tsang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值