【Ceph】ceph cluster log瞬间打满日志盘

Ceph cluster log用于记录Ceph事件,通常能获取与默认日志相同信息。曾出现Ceph突发大量事件,致日志文件一分钟暴增数G的异常情况。因Ceph mon与日志在根分区,日志暴增易使mon因空间不足挂掉,可降低记录事件等级或移至专门日志盘解决。

ceph cluster log 定位为记录 ceph 事件的日志,通常情况下,ceph -w 也能捞到跟默认日志 /var/log/ceph/ceph.log 一样的信息,如下图。
在这里插入图片描述
昨天出现一种异常的情况,就是 ceph 突然发了很多事件,导致这个日志文件突然暴增,一分钟能写好几个 G,仔细一看,原来这个日志等级默认是 debug,因为我们部署的时候 ceph mon 是放在根分区下面,跟日志是一起的,如果这个日志突然暴增,很容易导致 mon 因为本地空间不足而挂掉,这样不管是 ceph -s 还是其他命令,全部都会因为 mon 挂掉而卡住。
在这里插入图片描述
最后实时更新一下 mon 的配置,来把记录的事件等级降低到 info,这样可以有效抑制日志的增长,当然把这个 cluster log 移到专门的日志盘会是更好的选择。
在这里插入图片描述

### CEPH集群中 `/dev/error` 设备问题排查 在CEPH集群环境中,当遇到与 `/dev/error` 相关的设备错误时,通常表明某些OSD(对象存储守护进程)未能正常挂载其数据分区或者存在文件系统配置上的问题。以下是针对该问题的具体分析和解决方法: #### 1. 验证OSD状态 通过运行 `ceph osd stat` 命令可以查看当前OSD的状态以及是否有任何异常情况发生[^1]。如果发现某个特定OSD处于down或out状态,则可能与此 `/dev/error` 错误有关。 ```bash ceph osd stat ``` #### 2. 检查日志记录 进一步深入到具体的OSD节点上,检查对应的服务启动失败原因。可以通过查阅位于 `/var/log/ceph/` 下的日志文件来获取更多信息。特别关注那些标记为error级别的条目,它们可能会揭示为什么指定路径被映射成了 `/dev/error` 而不是实际物理磁位置[^2]。 ```bash tail -f /var/log/ceph/*.log ``` #### 3. 文件系统健康状况评估 对于每一个参与构成Ceph Storage Pool 的硬驱动器来说, 它们应该都保持良好工作状态并正确安装到了预期目录下 (通常是类似于 `/var/lib/ceph/osd/$cluster-$id`) 。 如果这些条件未足的话 , 就会出现上述提到过的 '/dev/error' 这样的虚拟设备替代品作为占位符显示出来. 因此建议执行如下命令序列来进行验证: - 列举所有已知osds及其关联硬件详情: ```bash lsblk && df -hT | grep ceph ``` 假如这里找不到应有的块级资源呈现形式而是出现了诸如loopback之类的不寻常现象则说明存在问题亟待修复. 另外还可以尝试重新扫描scsi总线以期让操作系统识别新加入但尚未检测到的储存单元 : ```bash echo "- - -" > /sys/class/scsi_host/hostX/scan ``` > 注: X代表主机适配卡编号需依据实际情况替换具体数值 #### 4. OSD服务重启恢复机制探讨 最后一步操作便是停止再开启那个表现失常的目标osd实例看看能否自行纠正过来这种状况. 先找到对应的process id(pid): ```bash ps aux|grep 'ceph-osd'|grep '$target_osdid' ``` 接着终止它之后再次激活起来观察效果变化如何? ```bash systemctl stop ceph-osd@$target_osdid.service sleep 5s #给些时间间隔确保完全关闭完成后再继续下一步动作 systemctl start ceph-osd@$target_osdid.service ``` 以上就是关于处理ceph集群内部出现'/dev/error'这类特殊伪设备所引发的一系列连锁反应解决方案概述.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值