【ceph】如何打印一个osd的op流程，排查osd在干什么

最新推荐文章于 2025-07-09 11:01:07 发布
原创 最新推荐文章于 2025-07-09 11:01:07 发布 · 592 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ceph

本文围绕IT运维主题，介绍了Python、shell、Terraform基础，以及Ceph、Docker、Kubernetes等技术的入门与实战。重点讲解了osd操作流程查看和事件排查方法，涵盖日志收集和运维日常技巧。

  本站以分享各种运维经验和运维所需要的技能为主

《python零基础入门》：python零基础入门学习

《python运维脚本》： python运维脚本实践

《shell》：shell学习

《terraform》持续更新中：terraform_Aws学习零基础入门到最佳实战

《k8》暂未更新

《docker学习》暂未更新

《ceph学习》ceph日常问题解决分享

《日志收集》ELK+各种中间件

《运维日常》运维日常

《linux》运维面试100问

如何打印一个osd的op流程，排查osd在干什么

ceph daemon osd.xx dump_historic_ops_by_duration

可以看到osd在处理什么event：

离线环境下 MySQL 安装教程
爱搬砖的程序猿
02-18 1779
在实际的服务器部署中，我们常常会遇到服务器处于离线状态，无法直接从网络下载软件的情况。MySQL 作为一款广泛使用的关系型数据库管理系统，在很多项目中都起着关键作用。本文将详细介绍在离线环境下安装 MySQL 的具体步骤，帮助大家解决离线安装的难题。
CentOS7离线安装mysql5.7版本
SmallCat0912的博客
09-13 4720
CentOS7离线安装mysql
初识 MySQL —— 从安装MySQL 5.6 开始
lmjsjz的博客
03-13 2022
本文主要介绍的是利用官方文档在CentOS 7.6上安装MySQL 5.6。
Ubuntu 22.04 升级openssh至最新版
qq_35861227的博客
06-06 5671
Ubuntu 22.04 升级openssh至最新版
Ubuntu22.04下openssh&openssl升级
weixin_39761731的博客
10-24 2746
备份原来的openssl,创建软链接到系统位置。#更新动态链接库数据。
Ubuntu升级OpenSSH至安全版本9.8
lxm065的博客
07-02 6606
下载地址安装步骤PRNGD:EGD:PAM:GNOME:LibEdit:LDNS:Autoconf:libfido2:makemakemakename).created.
Ubuntu升级openssh
航道的博客
09-26 1968
注：也可在编译时指定默认的配置文件路径：./configure --prefix=/usr/local/openssh-9.9p1 --sysconfdir=/etc/ssh。以上这个文件会默认使用配置文件：/usr/local/openssh/etc/sshd_config。环境：操作系统：ubuntu22.04 openssh版本：8.9p1。说明：通过软链接指向安装目录，方便今后升级更新，只需修改软链接就好了。1、下载最新版本openssh：9.9p1。
ubuntu升级openssh
07-05
本文档包含升级OpenSSH和NTP服务的升级包和升级步骤 操作系统版本：Ubuntu 14 Server 64bit 升级到的版本：OpenSSH 7.5p1，NTP 4.2.8p10
Ubuntu20.04升级openssh9.4（源码升级）
一个标题
02-27 3059
Ubuntu20.04升级openssh9.4（源码升级）
Ubuntu系统中升级OpenSSH到特定版本（如9.8p1）
哆啦A梦的百宝袋的博客
07-18 4827
在Ubuntu系统中升级OpenSSH到特定版本（如9.8p1）通常涉及到从源代码进行编译和安装，因为官方软件仓库可能不会立即提供最新的OpenSSH版本。
ubuntu 16.04 更新7.5 openssh
03-23
ubuntu 16.04 更新7.5 openssh 安装包及操作手册
Ubuntu升级openssh7.8p1快速命令集
09-17
导入Xshell快速命令集中，窗口下面会出现若干个按键，依次点击，即可完成升级。PS：ssh.conf中要修改引导路径，请参考https://blog.youkuaiyun.com/x269962537/中Ubuntu 升级OPENSSH7.8p1帖子！
【ceph】ceph中osd报错，have spurious read error(1)，看完这一篇你就懂了
2401_84264692的博客
04-15 737
"Spurious read error"通常表示在尝试读取某些数据时，数据的校验和与预期不符。这可能是由于硬盘错误、网络问题、内存错误等原因导致的。在使用过程中，有时可能会遇到一些问题，如OSD（Object Storage Daemon）报告"spurious read error"。T行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！硬件（cpu、内存、磁盘） — 网络 — 具体到某个组件的日志。
ubuntu升级openssh和openssl
2301_81654376的博客
07-09 1162
ubuntu20.04升级openssh和openssl
chatgpt赋能python：Python怎么转二进制？
liangzijiaa的博客
06-18 7211
如果我们需要在Python中进行一些复杂的二进制转换，如将浮点数转换为二进制，或者需要忽略字符串前缀"0b"，那么我们可以自己编写一个自定义的转换函数。b本文由chatgpt生成，文章没有在chatgpt生成的基础上进行任何的修改。以上只是chatgpt能力的冰山一角。作为通用的Aigc大模型，只是展现它原本的实力。对于颠覆工作方式的ChatGPT，应该选择拥抱而不是抗拒，未来属于“会用”AI的人。🧡AI职场汇报智能办公文案写作效率提升教程 🧡专注于AI+职场+办公方向。下图是课程的整体大纲。
ubuntu下openssh升级
qq_42430287的博客
07-18 7005
ubuntu下openssh升级
升级 Ubuntu 主机上的 OpenSSH 从 8.9p1 到 9.8p1
小小的木头人的博客
07-02 8976
升级 Ubuntu 主机上的 OpenSSH 从 8.9p1 到 9.8p1
Ubuntu20.04升级openssh
weixin_44293618的博客
07-28 5355
Ubuntu20.04升级opensh
Python转二进制
qq_44197482的博客
07-10 437
def to2(n): lst = [] if n == 0: return '0' while n >= 1: lst.append(str(n%2)) n //= 2 # # 下取整 lst = ''.join(lst) return lst[::-1]
已经部署的ceph中如何排查单个osd的iops
最新发布
08-09
<think>我们正在讨论如何排查Ceph集群中单个OSD的IOPS问题。用户已经部署了Ceph集群，现在需要针对单个OSD进行IOPS性能排查。根据Ceph的架构，每个OSD对应一个守护进程和一个存储设备（如磁盘）。IOPS（每秒输入/输出操作数）是衡量存储性能的重要指标。 首先，我们需要明确IOPS的监控方法。Ceph本身提供了多种工具来监控OSD的性能，包括`ceph osd perf`、`ceph osd pool stats`等命令，也可以使用更底层的工具如`iostat`直接查看磁盘的IOPS。 步骤分解： 1. 确定目标OSD：首先需要确定要监控的OSD的ID，比如osd.0, osd.1等。 2. 使用Ceph内置命令查看OSD延迟：`ceph osd perf`可以查看OSD的提交延迟（commit latency）和应用延迟（apply latency），但注意这个命令并不直接显示IOPS，而是延迟。不过，我们可以通过其他命令来获取IOPS。 3. 使用`ceph osd pool stats`：这个命令可以查看每个存储池的读写操作情况，但粒度是存储池，不是单个OSD。 4. 使用`ceph daemon osd.<id> perf dump`：这个命令可以获取指定OSD的详细性能计数器，其中包含了读写操作的次数，通过计算可以得出IOPS。 5. 使用系统工具：由于每个OSD通常对应一块磁盘，我们可以使用`iostat`命令来直接查看该磁盘的IOPS。需要先找到OSD对应的磁盘设备。 如何找到OSD对应的磁盘设备？ 根据引用[3]中的信息，我们可以使用`dmsetup`命令来将Ceph OSD的块设备（通常是/dev/ceph-<uuid>/osd-block-<uuid>）映射到物理设备。但更简单的方法是使用`ceph-volume`工具。 具体步骤： a. 首先，登录到目标OSD所在的主机。 b. 使用命令：`ceph-volume lvm list` 来查看该主机上所有OSD及其对应的磁盘设备。例如，对于osd.4，我们可以找到其对应的磁盘设备路径（如/dev/sdb1）。 然后，使用`iostat`命令监控该磁盘的IOPS： 例如：`iostat -x 1 /dev/sdb` （注意：根据实际情况替换设备名） 在`iostat`的输出中，我们关注`r/s`（每秒读操作数）和`w/s`（每秒写操作数），两者之和即为该磁盘的总IOPS。 另外，还可以使用`ceph daemon osd.<id> dump_osd_network`来检查OSD的网络情况，因为网络延迟也可能影响IOPS的表现。 但是，请注意：Ceph是一个分布式系统，单个OSD的IOPS不仅取决于本地磁盘的性能，还受到网络、其他OSD以及客户端请求模式的影响。因此，在排查时，需要综合考虑。 根据引用[1]和[2]，OSD的状态（如down或flapping）也会影响性能，因此需要确保目标OSD处于`up`且`in`的状态。 总结排查步骤： 1. 确认OSD状态：`ceph osd tree` 或 `ceph osd status`，确保目标OSD是up且in的。 2. 使用Ceph命令查看该OSD的性能计数器： - `ceph daemon osd.<id> perf dump` 可以获取读写操作的计数，然后通过计算一段时间内的增量来得到IOPS。 3. 使用系统工具`iostat`监控对应磁盘的IOPS。 4. 如果发现IOPS异常，可以结合网络状态（如使用`ping`或`netstat`）和系统负载（如`top`）进行进一步分析。 关于使用`ceph daemon osd.<id> perf dump`计算IOPS： 该命令输出的JSON数据中，有多个计数器，其中： - "osd.op_w"：写入操作次数 - "osd.op_r"：读取操作次数 - "osd.op"：总操作次数（包括读写和其他操作） 我们主要关注读写操作，所以可以取`osd.op_r`和`osd.op_w`。假设在时间T1获取一次，然后等待一段时间（比如10秒），在T2再次获取，那么： 读IOPS = (T2的osd.op_r - T1的osd.op_r) / (T2-T1) 写IOPS = (T2的osd.op_w - T1的osd.op_w) / (T2-T1) 总IOPS = 读IOPS + 写IOPS 注意：这个IOPS是OSD层面统计的，而`iostat`是磁盘层面统计的，两者应该接近，但可能因为缓存、合并写入等因素存在差异。 如果用户需要实时监控，也可以使用`ceph top`命令（需要开启prometheus插件），或者使用Grafana等可视化工具。 另外，引用[4]中提到了自动化部署，但和当前问题关联不大。 因此，我们给出如下步骤： 步骤1：确认目标OSD状态 ```bash ceph osd tree | grep <osd_id> ``` 步骤2：登录到目标OSD所在主机 步骤3：使用`ceph-volume`找到OSD对应的磁盘设备 ```bash ceph-volume lvm list | grep -A 10 <osd_id> ``` 在输出中查找类似"block device"的行，例如： block device /dev/sdb1 步骤4：使用`iostat`监控该设备 ```bash iostat -x 1 /dev/sdb # 假设设备为sdb（注意：可能是分区，如sdb1，但通常看整个磁盘） ``` 步骤5：同时，在另一个终端，使用Ceph命令获取OSD的性能计数器（可选，用于对比） ```bash ceph daemon osd.<id> perf dump ``` 步骤6：分析结果 - 如果磁盘的`iostat`显示util%很高，且await很高，说明磁盘可能存在瓶颈。 - 如果Ceph统计的IOPS很高，但磁盘实际IOPS较低，则可能是Ceph的配置（如缓存）导致。 相关问题： 1. 如何定位Ceph集群中的性能瓶颈？ 2. 如何优化Ceph OSD的磁盘性能？ 3. Ceph集群中网络延迟对IOPS的影响有哪些？</think>### Ceph 单个 OSD IOPS 排查方法 排查单个 OSD 的 IOPS 性能问题，需结合 Ceph 监控工具和系统级诊断，以下是具体步骤： #### 1. **确认 OSD 状态** ```bash ceph osd tree | grep osd.<ID> # 替换<ID>为实际OSD编号 ceph osd perf # 查看所有OSD延迟指标 ``` - 确保 OSD 状态为 `up` 且 `in`（非 `down` 或 `out`）[^2] - 关注 `apply_latency_ms`（应用延迟）和 `commit_latency_ms`（提交延迟），若 > 50ms 可能存在性能瓶颈 #### 2. **监控 OSD 实时 IOPS** ```bash ceph daemon osd.<ID> perf dump | grep -E 'op_r|op_w|op_latency' ``` - **关键指标**： - `osd.op_r`：读操作计数 - `osd.op_w`：写操作计数 - `osd.op_latency`：操作延迟（纳秒） - **IOPS 计算**： $$ \text{IOPS} = \frac{\Delta (\text{osd.op_r} + \text{osd.op_w})}{\Delta t} $$ 通过两次采样差值计算每秒操作数 #### 3. **定位物理磁盘性能** **步骤 1：查找 OSD 对应的物理设备** ```bash ceph-volume lvm list | grep -A 10 "osd id <ID>" ``` 在输出中查找 `block device` 项（如 `/dev/sdb1`）[^3] **步骤 2：监控磁盘 IOPS** ```bash iostat -x 1 /dev/<device> # 例如 /dev/sdb ``` - **关键指标**： - `r/s` + `w/s`：总 IOPS - `%util`：磁盘利用率（>70% 表示过载） - `await`：I/O 平均等待时间（>10ms 需警惕） #### 4. **检查网络影响** ```bash ceph daemon osd.<ID> dump_osd_network | grep latency ``` - 若 `ping_latency` > 1ms 或 `full_ratio` > 0.05，表明网络可能成为瓶颈[^2] #### 5. **深入诊断工具** - **Ceph 详细 profiling**： ```bash ceph daemon osd.<ID> perf histogram dump ``` 输出 I/O 操作延迟分布直方图，识别长尾延迟 - **系统级跟踪**： ```bash pidstat -d -p $(pgrep -f "ceph-osd.*id <ID>") 1 ``` 监控 OSD 进程的 I/O 数据（kB_rd/s, kB_wr/s） #### 6. **常见优化点排查** - **硬件层**：检查磁盘 SMART 状态（`smartctl -a /dev/<device>`） - **配置层**： - 确认 `filestore_max_sync_interval` 和 `journal_max_write_bytes` 是否合理 - 检查 OSD 日志是否独立磁盘（`ceph daemon osd.<ID> config show | grep journal`） - **系统层**：验证内核 I/O 调度器（`cat /sys/block/<device>/queue/scheduler`） > **典型问题场景**：若 `iostat` 显示高 IOPS 但 `ceph osd perf` 延迟低 → 可能为客户端过载；若 `iostat` IOPS 低但 Ceph 延迟高 → 可能为网络或软件瓶颈[^1][^2]。 ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值