ceph full 处理方法

Ceph存储故障处理
最新推荐文章于 2025-07-19 22:24:41 发布
转载 最新推荐文章于 2025-07-19 22:24:41 发布 · 2.7k 阅读 · 2

本文详细介绍了当Ceph存储集群出现满载情况时的操作步骤，包括如何调整阈值、暂停及恢复OSD服务、清理数据等关键流程。

文章出自:　《Ceph设计原理与实现》


1. 设置 osd 禁止读写

ceph osd pause


2. 通知 mon 和 osd 修改 full 阈值

ceph tell mon.* injectargs "--mon-osd-full-ratio 0.96"

ceph tell osd.* injectargs "--mon-osd-full-ratio 0.96"


3. 通知 pg 修改 full 阈值

ceph pg set_full_ratio 0.96 (Luminous版本之前)

ceph osd set-full-ratio 0.96 (Luminous版本)


4. 解除 osd 禁止读写

ceph osd unpause


5. 删除相关数据

最好是 nova 或者 glance 删除

也可以在 ceph 层面删除


6. 配置还原

ceph tell mon.* injectargs "--mon-osd-full-ratio 0.95"

ceph tell osd.* injectargs "--mon-osd-full-ratio 0.95"

ceph pg set_full_ratio 0.95 (Luminous版本之前)

ceph osd set-full-ratio 0.95 (Luminous版本)

ceph 存储 full 阈值调整
weixin_40548182的博客
01-09 592
在 Ceph 集群中，默认情况下，当某些 OSD（对象存储守护进程）的使用率达到 85% 时，系统会发出 nearfull 警告，并可能限制进一步的写入操作，以防止数据丢失或集群不稳定。要允许在 OSD 使用率超过 85% 的情况下继续写入，您可以调整以下两个参数：mon_osd_nearfull_ratio：定义 OSD 被视为“接近满”的阈值。默认值为 0.85（即 85%）。mon_osd_full_ratio：定义 OSD 被视为“满”的阈值。默认值为 0.95（即 95%）。
Ceph：关于 Ceph 存储架构理论方面的一些笔记整理(2)
山河已无恙
05-12 1211
对每个人而言，真正的职责只有一个：找到自我。然后在心中坚守其一生，全心全意，永不停息。所有其它的路都是不完整的，是人的逃避方式，是对大众理想的懦弱回归，是随波逐流，是对内心的恐惧 ——赫尔曼·黑塞《德米安》
删除ceph数据量较多的bucket
lv0918_qian的博客
05-12 2208
线上环境ceph对象存储的bucket有大概180多万个对象，都是小文件，总体bucket不算太大，100G左右。经过测试，用rclone挂载以后打开挂载的目录会使集群的IO或者iops太高，害怕集群不稳定，所以换个方法删除，尽量在不影响线上集群使用的情况下删除这些对象。由于小文件数量太多，目录结构也太多，我看了大概有十几级目录，用s3cmd ls bucket的时候也出现超时，稍后重试的现象。但是把rgw的日志级别调整到20/20以后，出现下列日志：cls_bucket_list_ordered 把所有的
Ceph Luminous 12 添加/删除/更换 OSD 详解
Mr_Apple 的空间
11-25 3749
目录OSD 介绍手动删除 OSD1. 把 OSD 踢出集群2. 停止 OSD3. 删除 OSDCeph Luminous 版本操作Ceph 其他版本操作手动添加 OSD（方法一）手动添加 OSD（方法二）更换 OSD （待测试）使用 ceph-deploy 添加 OSD使用 ceph-disk 删除 OSD（待验证） OSD 介绍 OSD 的记录存储于以下四处位置： 配置文件：ceph.co...
ceph osd full - osd磁盘满的处理
wanghuiict 的优快云博客
03-11 1万+
ceph一旦有osd写满了，就会进入一种保护状态。所谓osd写满，是指osd空间使用率达到了osd full ratio规定的百分比，例如0.95。这种情况下，ceph不允许用rbd rm等命令删除上面的rbd image以释放空间。如何处理osd full的窘境，参考下面的方法。 方法1 增加磁盘空间。 如果可能，试着删除osd上无用的文件，释放部分磁盘空间。或者向系统添加新的硬盘
ceph osd full 解决方法
bobpen的专栏
01-06 6492
操作环境 openstack icehouse ceph giant 问题描述 今日查看ceph状态的时候，提示以下信息 [root@ceph-osd-1 ~]# ceph -s cluster 8ade9410-0ad8-4dbb-bd56-e1bf2f947009 health HEALTH_ERR 1 full osd(s); 2 near full osd(s)
ceph 数据清除
evolution23的博客
04-12 2104
lsblk -f yum install gdisk # Zap the disk to a fresh, usable state (zap-all is important, b/c MBR has to be clean) # You will have to run this step for all disks. sgdisk --zap-all /dev/sda # Clean hdds with dd dd if=/dev/zero of=/dev/sda bs=1M count=10
ceph osd full/nearfull
weixin_33896726的博客
10-12 2372
ceph集群出现full osd后，会禁止写入和删除操作，出现这种情况，应该如何解决呢？可以先通过调高集群full ratio限制比例，或者修改osd权重，来解除写锁，然后再进行数据删除等操作。具备扩容条件，可以通过扩容解决。但是要注意，扩容和调整osd权重，会出现数据平衡状况，影响集群读写速率（正在移动的数据，也会进行写锁）。如果是生产环境，请注意操作时点，保证集群可用性。...
第六篇：Ceph集群常见问题处理方法
cheney的专栏
08-05 1万+
1 cephfs客户端挂载失败 1.1 kernel client挂载失败 即执行下述挂载命令 sudo mount -t ceph IP1,IP2,IP3:6789:/ /mnt/mycephfs 出现的错误。 wrong fs type mount: wrong fs type, bad option, bad superblock on 11.154.211.212:6789:/,...
Ceph中的线程池
weixin_43977379的博客
09-29 1028
ceph中线程池的整体实现有许多的类协作完成，也有不同的实现方案，本文将以其中一种为例进行讲解。首先我们来看在multisite中用到的一处使用线程池的请求。不了解multisite运行机制的同学不必担心，这里只是通过multisite的例子引入线程池！multisite是ceph进行多集群同步的机制，保证一个主集群和一个或多个备集群有完全相同的对象，整个机制是由上面提到的协程实现的，其基础类是RGWCoroutine。
ceph集群部署.docx
10-09
- **应用场景**：适用于云计算、大数据分析、备份恢复等多种场景，特别适合处理海量数据。 #### 二、三节点集群基础环境配置 ##### 1. 设置主机名与IP映射 - 在三台机器上分别设置主机名为`ceph01`、`ceph02`、`...
Ceph存储池full等处理方式
a13568hki的博客
12-14 1458
1.查看当前集群full以及nearfull的设置值,在Mon节点查询Mon配置 ceph --admin-daemon /run/ceph/ceph-mon.IP.asok config show | grep full_ratio 2.查看当前集群full以及nearfull的设置值,在其他节点查询osd配置 ceph --admin-daemon /run/ceph/ceph-osd.0.asok config show | grep full 3.遇到集群full的告警，并且存储不能写入数据
系统卡写入量过大之---ceph高级工具ceph-kvstore-tool调研
qq_23929673的博客
06-24 794
前言： 最近生产环境出现一个异常，设备系统卡一天写入量达到270多G，这样的压力下一个系统卡使用不了多久就会挂掉。os组同事使用blacktrace命令发现系统卡上有一个进程名称为rocksdb的进程在频繁的刷入数据，直接咬定这270G数据是我们ceph写入的。最终发现，ceph mon的数据库是放在系统卡里的，为了有效卸锅，特地调研了一下该工具（这个工具好像默认是不装的，需要单独安装一下） 首先...
Ceph学习之路---Ceph检查和设置运行时nearfull和full的阀值
yysalad的专栏
11-02 3787
检查运行时nearfull和full的阈值： ceph pg dump | grep full 设置运行时nearfull和full的阈值： 1)、通知pg修改nearfull及full的阈值 ceph pg set_backfillfull_ratio 0.95 ceph pg set_nearfull_ratio 0.95 ceph pg set_full_ratio 0.97...
Ceph---ceph 12.2.12 full ratio(s) out of order
yysalad的专栏
05-16 2723
实际使用ceph 12.2.12的过程中遇到full ratio(s) out of order 原因：osd_failsafe_full_ratio 小于 full_ratio 解决方法：设置full_ratio小于等于osd_failsafe_full_ratio ceph osd set-full-ratio 0.97
Ceph存储阈值调整：优化nearfull_ratio参数
最新发布
mixboot
07-19 636
本文介绍了Ceph存储系统中nearfull_ratio参数的调整方法及其重要性。该参数作为Ceph三个关键存储阈值之一，默认值为0.85，当达到此比例时系统会发出警告。文章提供了四种调整方法：命令行设置、tell命令、config命令和配置文件修改，并强调调整后验证的重要性。最佳实践包括保持阈值间合理间隔、避免重叠以及永久保存配置。实际案例展示了将参数从0.85调整为0.9的过程，说明合理设置该参数可为系统管理提供更优化的预警机制。
记一次ceph-osd磁盘写满1 full osd(s)实操
u011012217的博客
12-22 3824
记一次ceph-osd磁盘写满1 full osd(s)实操
ceph集群单个osd超95%导致集群无法读写集群恢复过程
yyaolingfeif的博客
12-06 7356
ceph新手，最近遇到的一个问题，已解决，请参考，文中有错误的话欢迎指正故障描述openstack环境中若干台虚拟机无法正常操作，尝试从horizon中重启虚拟机，重启过程中虚拟机状态一直停留在”powering on”的状态，无法进入系统查看openstack环境，发现后端ceph的状态异常,一个OSD full，一个near full。（clock是这个集群已知问题，这里不做介绍）(ceph-m
【ceph】ceph OSD状态及常用命令
热门推荐
我的笔记本
04-16 1万+
1. OSD概念 OSD：Object Storage Device，主要负责响应客户端请求返回具体数据的守护进程，一般一个集群会有多个OSD，每一块盘都会对应一个OSD。 2. OSD 状态 [root@data1 ~]# ceph osd stat 4 osds: 3 up (since 23m), 3 in (since 13m); epoch: e345 OSD状态说明： a. 集群内（in） b. 集群外（out） c. 活着且在运行（up） d. 挂了且不再运行（down） .
ceph backfill策略
03-19
<think>好的，用户想了解Ceph存储系统的backfill策略及其工作原理，以及配置方法。首先，我需要回忆一下Ceph的基本概念和backfill相关的知识。 Ceph是一个分布式存储系统，通过CRUSH算法来管理数据分布和副本。当OSD（对象存储守护进程）出现故障或者集群扩容时，数据需要重新平衡。这时候，Backfill和Recovery是两个关键过程。但用户问的是Backfill，需要区分这两者的不同。 记得Backfill是在OSD重新加入集群或者新增OSD时，根据CRUSH算法重新分布数据的过程。与Recovery不同，Recovery是处理数据副本的临时修复，而Backfill是完整的数据填充。可能需要解释这两个过程的区别。 接下来，工作机制部分。Backfill的触发条件应该包括OSD的添加、移除或者权重变化。然后，集群会生成新的PG（归置组）映射，检测到需要Backfill的PG，并按照优先级队列处理。资源控制方面，Ceph有参数控制并发数、速度限制等，避免影响正常服务。 关于配置方法，需要列举相关的配置参数，比如osd_max_backfills、osd_backfill_full_ratio、osd_backfill_retry_interval等，并说明如何调整这些参数。同时，用户可能需要知道如何监控Backfill的进度，比如通过ceph -w或者ceph pg命令。 还要考虑引用提供的资料。用户给出的引用中有关于缓存池设置和压缩配置的内容，但可能与Backfill直接关联不大。不过引用[3]提到存储池的操作，可能涉及数据迁移时的Backfill过程。需要确认是否有相关引用可以联系上，但目前看来可能没有直接引用Backfill的资料，所以主要依靠自己的知识库。 用户可能的问题可能涉及如何优化Backfill速度，或者处理Backfill过程中的问题，比如网络延迟或资源竞争。需要确保回答中包含配置建议和监控方法，帮助用户实际操作。 最后，生成相关问题时要围绕Backfill的相关方面，比如与Recovery的区别、参数优化、监控方法、失败处理，以及与其他数据平衡策略的比较。这样可以帮助用户更全面地了解Backfill在Ceph中的作用。</think>### Ceph存储系统的Backfill策略及工作原理 #### 一、Backfill的定义与作用 Backfill是Ceph在PG（Placement Group）重映射后执行的全量数据迁移过程，主要用于恢复数据副本的完整性和平衡集群负载[^1]。当OSD（Object Storage Daemon）新增、移除或权重调整时，CRUSH算法会重新计算PG分布，此时需要将数据按新映射迁移到目标OSD。 #### 二、工作机制 1. **触发条件** - OSD扩容或缩容 - CRUSH Map变更导致PG映射更新 - 手动执行数据重平衡命令（如`ceph osd reweight`） 2. **优先级控制** Ceph通过`osd_backfill_priority`参数设置Backfill任务的优先级，默认值为**5**（范围1-63），数值越高优先级越低，避免影响正常I/O性能[^4]。 3. **分阶段执行** ```text PG状态变化：active → backfill_wait → backfill → active ``` - **backfill_wait**：等待资源分配 - **backfill**：实际数据迁移阶段 4. **资源限制** 关键参数控制： - `osd_max_backfills`：单个OSD同时处理的Backfill任务数（默认1） - `osd_backfill_scan_min`/`osd_backfill_scan_max`：单次扫描对象数量范围（默认64/512） #### 三、配置方法 1. **调整并发度** ```bash ceph tell osd.* injectargs '--osd_max_backfills 2' # 提升单个OSD并发任务数 ``` 2. **速度限制** ```bash ceph tell osd.* injectargs '--osd_backfill_scan_max 1024' # 增加单次扫描对象数 ``` 3. **中断与恢复** ```bash ceph osd set nobackfill # 暂停所有Backfill ceph osd unset nobackfill # 恢复 ``` #### 四、监控命令 1. 查看进度： ```bash ceph -w | grep backfill ``` 2. 检查PG状态： ```bash ceph pg dump | awk '/backfill/ {print $1,$2,$15}' ``` #### 五、性能优化建议 1. 在低峰期执行大规模Backfill 2. 优先使用SSD作为Journal设备提升迁移速度 3. 通过`osd_backfill_full_ratio`（默认85%）控制OSD容量警戒线，避免迁移导致磁盘写满[^3]
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值