使用BPF排查ceph高延时问题

最新推荐文章于 2024-04-02 19:32:40 发布
最新推荐文章于 2024-04-02 19:32:40 发布
阅读量389 收藏
点赞数
分类专栏： 性能 文章标签： kubernetes 容器 云原生
原文链接：https://blog.selectel.com/from-high-ceph-latency-to-kernel-patch-with-ebpf-bcc/
版权

使用BPF排查ceph高延时问题

案例来源

https://blog.selectel.com/from-high-ceph-latency-to-kernel-patch-with-ebpf-bcc/

ceph第二篇: ceph集群应用基础(块存储，对象存储，挂载配置)
weixin_43743301的博客
03-25 194
RBD是Ceph提供的块存储服务，类似于传统的硬盘分区或LUN。Ceph Fs 需要运行 Meta DataServices(MDS)服务，其守护进程为ceph-mds，ceph-mds 进程管理与 cephfs 上存储的文件相关的元数据，并协调对 ceph 存储集群的访问。使用 CephFs 之前需要事先于集群中创建一个文件系统，并为其分别指定元数据和数据相关的存储池，如下命令将创建名为 mycephfs 的文件系统，它使用 cephfs-metadata 作为元数据存储池。
Linux性能调优之使用BPF工具观测CPU性能指标
最新发布
山河已无恙
10-23 1213
博文内容涉及工具来自一书，CPU性能指标涉及：系统短期创建的线程进程跟踪进程线程的CPU运行时长，脱离时长统计线程的运行队列长度，等待延时时间，有多少线程在等待，多核队列是否均衡线程运行调用栈和脱离调用栈跟踪线程 软硬中断 CPU时间，LLC 三级缓存命中率分析内核态系统调用跟踪分析理解不足小伙伴帮忙指正 😃,生活加油喜欢文字的人，大多敏感且心软，忽然不快乐忽然被回忆揪住心脏忽然沉默到泪流。
记一次Ceph OSD处理包时延产生原因
yiyeguzhou100的专栏
08-04 1199
Ceph集群中节点A向节点B的OSD发tcp包，发现B节点的OSD处理该包的时间与该包中携带的A节点发送该包的时间差大于10ms，经过查看业务代码，发现OSD使用epoll_wait有问题，在每次调用epoll_wait获取tcp包处理完毕后，会串行处理其他的事件，某些情况下，由于其他事件处理耗时较多，导致下一次调用epoll_wait的时候增加了一定时延，这个时延就导致了OSD处理包的时延。 ...
ceph IO latency break down
12-14
Ceph IO 流水线很长，本文将一个IO的各个阶段的延迟，对应源码细分出来，方便考察
从高Ceph延迟到使用eBPF / BCC的内核补丁
cullen2012的博客
09-08 918
There are a lot of tools for debugging kernel and userspace programs in Linux. Most of them have performance impact and cannot easily be run in production environments. A few years ago, eBPF was dev...
使用bpf 排查 fd 泄漏
qq_39015563的博客
01-05 921
ss -s 查看 tcp close 是否很多, /proc/pid/fd 5分钟后 刷出来的堆栈 要么是长连接 要么是泄漏fd，具体可以使用 lsof 查看是否 sock 状态端口 BEGIN { @start=nsecs; } kretprobe:__alloc_fd / pid==xxx/ { $fd = retval; @alloc_stack[comm, pid, $fd] = ustack; @allco_stack_time[comm, pid, $fd, us
High commit_latency and apply_latency on TOSHIBA MG06ACA10TE HDDs
流金岁月的专栏
07-25 640
k8s ceph smartctl hdparm commit_latency apply_latency on TOSHIBA MG06ACA10TE HDDs
ceph osd慢请求排查
yueyingshaqiu01的博客
04-02 1035
可以发现整个请求的耗时主要在header_read event，该耗时显示header_read到all_read期间耗时18.1s，可以分析得出osd在从messenger中读取(0-4M)的数据花了18s，该请求是从10.124.107.8于12:03:35的cephfs client发出，发往osd的，进一步可以去看看src dst在这个时间点的网络链路、CPU情况。
BPF高阶 - 使用BPF过滤固定特征报文
ulangch的博客
05-30 2555
这篇文章主要介绍如何使用BPF过滤固定特征报文
Android上使用BPF工具获取内核信息
11-02
"Android上使用BPF工具获取内核信息" 在Android系统中，BPF（Berkeley Packet Filter）是一种强大的性能监控工具，能够监控系统的各个方面，包括应用程序、虚拟机、系统库、文件系统、网络调用、CPU调度器、内存...
BPF Performance Tools
02-28
1.1 BPF和eBPF是什么 1 1.2 跟踪、嗅探、采样、剖析和可观测性分别是什么 2 1.3 BCC、bpftrace和IO Visor 3 1.4 初识BCC：快速上手 4 1.5 BPF跟踪的能见度 7 1.6 动态插桩：kprobes和uprobes 8 1.7 静态插桩：...
zig-bpf-intro:在Zig中使用BPF的简介
05-22
如果您在这里找到自己，那很可能来自我有关在Zig中使用BPF的文章。 为了获得Zig编译器的建议，我建议从下载master ，或者您可以运行此repo中包含的脚本： sudo ./zig-install.sh 这会将Zig放到/usr/local 。 通过...
分布式存储ceph系统性能不稳定因素
cyh201201的博客
07-04 9805
性能数据不稳定因素
滴滴Ceph分布式存储系统优化之锁优化
渡江客涂鸦板
08-13 1349
Ceph是国际知名的开源分布式存储系统，在工业界和学术界都有着重要的影响。Ceph的架构和算法设计发表在国际系统领域顶级会议OSDI、SOSP、SC等上。Ceph社区得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是国际云计算领域应用最广泛的开源分布式存储系统，此外，Ceph也广泛应用在文件、对象等存储领域。Ceph在滴滴也支撑了很多关键业务的运行。在Ceph的大规模部署和使用过程中，我们发现了Ceph的一些性能问题。围绕Ceph的性能优化，我们做了很多深入细致的工作。
Ceph介绍及原理架构分享
weixin_44389885的博客
06-29 6658
1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph...
Ceph 基础入门
西京刀客
04-17 8061
Ceph 快速开始 一、什么是Ceph? 官网： https://docs.ceph.com/docs/master/ http://docs.ceph.org.cn/ Ceph架构介绍 参考URL: https://www.cnblogs.com/passzhang/p/12148933.html 干货｜非常详细的 Ceph 介绍、原理、架构 参考URL: https://blog.csdn.n...
【CEPH-初识篇】Ceph 详细介绍，一篇解决 Ceph 集群搭建， 三大存储使用
持续分享，个人的运维经验，包含：云计算、Linux、Windows、容器、K8s、CICD、Python、运维开发、公有云等；以及个人经历相关内容，包含：实习、面试经验等。
06-04 9595
你好，我是无名小歌。 今天给大家分享一个分布式存储系统ceph。什么是ceph？ Ceph在一个统一的系统中独特地提供对象存储、块存储和文件存储。
Ceph 集群基础
LCK 博客
08-07 2120
文章目录一、Ceph 集群角色二、Ceph 元数据保存方式2.1 xattrs(扩展属性)2.2 omap(object map 对象映射)2.2.1 filestore 与 leveldb 一、Ceph 集群角色 若干的 Ceph OSD（对象存储守护程序） 至少需要一个 Ceph Monitors 监视器（1,3,5,7...） 两个或以上的 Ceph 管理器 managers（mgr），运行 Ceph 文件系统客户端时，还需要高可用的 Ceph Metadata Server(文件系统元数据服务器
Ceph 故障检测机制
weixin_44389885的博客
11-13 1174
1. 节点故障检测概述 节点的故障检测是分布式系统无法回避的问题，集群需要感知节点的存活，并作出适当的调整。通常我们采用心跳的方式来进行故障检测，并认为能正常与外界保持心跳的节点便能够正常提供服务。一个好的故障检测策略应该能够做到： 及时：节点发生异常如宕机或网络中断时，集群可以在可接受的时间范围内感知； 适当的压力：包括对节点的压力，和对网络的压力...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值