通过dropwatch定位系统内核丢包

最新推荐文章于 2024-05-20 09:34:33 发布
原创 最新推荐文章于 2024-05-20 09:34:33 发布 · 1.1w 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

当面临Linux服务器内核网络层丢包问题时，dropwatch工具能帮助定位丢包点。本文介绍了dropwatch的使用前提，包括内核版本要求及编译选项，以及如何在 CentOS 6.3 上安装和使用dropwatch来捕获内核丢包数据。通过分析丢包数量和System Map，可以确定丢包发生在哪个函数，如示例中udp_queue_rcv_skb函数。此外，还提到了通过`/proc/net/snmp`查看UDP丢包统计。利用dropwatch，网络管理员能更准确地诊断和解决丢包问题。
背景：

网工面对业务反馈数据中心内部2台Server之间丢包，首先会查端到端之间所有链路有无拥塞、端口CRC问题；确认没有异常后，会开始怀疑是Server本身丢包，但我们知道，物理服务器一般会查下物理网卡有无丢包，但一般网卡丢包的可能性很小，但如果包是丢在内核网络层怎么办呢？通过抓包分析会因为场景的不同，数据的多少造成分析困难重重。Linux从2.6.30开始支持Network  Drop Watch（dropwatch）功能，可以准确定位内核网络层数据包的丢弃；



dropwatch使用前提：

1、首先内核必须大于等于2.6.30；
2、编译内核时应该加上“NET_DROP_MONITOR=y”；
3、由于dropwatch是依赖Kernel Tracepoint API的，其原理是各个协议层释放skb时收集信息来判断有无丢包，用的不多，难免存在一些BUG导致内核crash，因此具备一定危险性，建议troubleshooting时，最好先切走业务；


使用方法：

1、笔者使用的系统是CentOS 6.3，首先需要通过yum安装dropwatch："yum install dropwatch -
最低0.47元/天 解锁文章
Linux：丢包检查工具，dropwatch
mzhan017的博客
08-20 1571
当丢包警告过来的时候，选择使用什么方法来做翻译。默认的是指令的裸地址，这样的话对用户不太友好，最好能够翻译成函数名。当前支持kas，使用/proc/kallsyms，符号信息来解析指令地址。dropwatch是检测丢包的一个上层工具。给实际用户使用，交互式的检测，记录工具。set alertlimit value：设置停止检测的数量值。exit：退出dropwatch交换界面。list：可以展示所有支持的方法。start：告诉内核开始记录丢包。stop：告诉内核，停止记录丢包。help：展示帮助信息。
drop_monitor + dropwatch定位Linux网络丢包
iampisfan的专栏
04-08 5070
linux协议栈中提供了一个trace kfree_skb的驱动drop_monitor，通过register_trace_kfree_skb注册trace回调，这样在kfree_skb的时候将丢包的地址传给drop_monitor，drop_monitor再将丢包的地址通过netlink传给应用程序dropwatch。操作篇1、将kernel的drop_monitor.c编译成模块ko； 2、系
使用dropwatch观测网络丢包
xiayutian747的博客
02-03 2364
通常网络丢包有众多排查或观测方案，如 ：1.ifocnfig观测网卡层丢包。2.ethtool -s观测协议栈丢包。3.netstat 观测连接丢包。4.nettrace分析丢包。本文给出内核net/core自带drop_monitor模块和用户态dropwatch配合使用，完整定位协议栈丢包回溯定位的方案。
网络诊断工具dropwatch
06-23
网络诊断工具dropwatch，在UBUNTU16.04上编译，已经通过测试
探索网络问题的新工具：DropWatch
gitblog_00042的博客
05-20 620
探索网络问题的新工具：DropWatch 项目地址:https://gitcode.com/gh_mirrors/dr/dropwatch 项目介绍 在IT世界中，尤其是在服务器管理和软件开发领域，诊断网络问题是必不可少的任务之一。DropWatch 是一个由开发者Norman Horman创建的开源项目，旨在帮助我们更有效地定位Linux网络栈中的丢包问题。通过集成功能，提供清晰的信息和高性能的...
dropwatch:丢包分析
04-26
Dropwatch is a project I am tinkering with to improve the visibility developers and sysadmins have into the Linux networking stack. Specifically I am aiming to improve our ability to detect and understand packets that get dropped within the stack.
linux 数据丢包监控,【易测试201604】网络性能监控及常见问题定位
weixin_26781975的博客
05-12 784
在性能测试中，特别是测试云计算相关产品时，网络是影响性能的关键的因素之一，此文主要介绍网络性能如何监控以及常见网络性能问题如何定位。1 常见网络模型和架构首先介绍一下网络交互的过程中，数据包是怎么走的。从发送到被接收，经过的路径大致如下，以一次网络交互为例，一个数据包自发送端从上往下经由用户态空间的应用、系统内核空间到达网卡驱动，然后通过数据链路传输到达接收端，再从下往上经过网卡驱动、系统内核空间...
linux Ring Buffer溢出丢包，属于网卡丢包？还是网卡驱动丢包？
09-12
dropwatch -l kas # 显示内核丢包堆栈[^1] ``` ### 典型故障处理流程 ```mermaid graph TD A[观察到丢包] --> B{检查 ethtool 统计} B -->|rx_fifo_errors >0| C[驱动层Ring Buffer溢出] C --> D[增大Ring ...
Wireshark抓包实战：4步精准定位Livox雷达UDP丢包的真实原因
# Wireshark抓包实战：精准定位Livox雷达UDP丢包的四步法 在自动驾驶、机器人导航和高精度三维建模领域，Livox激光雷达凭借其紧凑结构与高性能输出，已成为感知系统中不可或缺的核心传感器。它通过UDP协议将海量...
drop_watch：监视linux丢弃UDP数据包的原因和位置
02-03
drop_watch：监视linux丢弃UDP数据包的原因和位置
dropwatch:丢包分析 源代码
04-26
Dropwatch is a project I am tinkering with to improve the visibility developers and sysadmins have into the Linux networking stack. Specifically I am aiming to improve our ability to detect and understand packets that get dropped within the stack.
dropwatch-1.4-8.el7.x86_64.rpm
11-29
离线安装包，亲测可用
dropwatch 网络协议栈丢包检查利器
03-25 1232
源码：http://git.fedorahosted.org/cgit/dropwatch.git 资料博客：http://blog.yufeng.info/archives/2497
Linux内核网络丢包查看工具dropwatch的安装和使用
金荣的个人技术博客
08-11 6825
本文将安装并使用dropwatch工具，来收集并查看Linux内核网络中丢包的数量和位置。 安装 sudo apt-get install -y libnl-3-dev libnl-genl-3-dev binutils-dev libreadline6-dev git clone https://github.com/pavel-odintsov/drop_watch.git 进入/drop_watch/src目录后执行make: 使用 dropwatch安装完成后使用以下命令运行： sudo
dropwatch 网络协议栈丢包检查利器 与 火丁笔记
weixin_33896726的博客
02-07 217
http://blog.yufeng.info/archives/2497 源码：http://git.fedorahosted.org/cgit/dropwatch.git http://blog.youkuaiyun.com/onwer3/article/details/43378431 http://huoding.com/2016/12/15/574  
Netfilter NF_HOOK执行流程分析 内核kprobe机制中的Jprobe机制 drop_watch hook_inspector
tycoon的专栏
11-14 1745
原理是通过内核kprobe机制中的Jprobe机制，hook内核的kfree_skb函数，再进入kfree_skb之前，查看skb的目的地址是否是我们需要，需要就打印出前三栈帧。 内核释放skb有kfree_skb和consume_skb, 根据内核本身设计， kfree_skb属于异常丢包，consume_skb属于正常丢包，所以这里只Hook了kfree_skb
在Debian系统上打包并使用dropwatch
weixin_33981932的博客
01-08 672
为什么80%的码农都做不了架构师？>>> ...
丢包分析程序tcp
最新发布
11-22
<think> 我们正在寻找用于进行丢包分析的TCP程序。根据引用内容，我们可以使用tcpdump（引用[3]）进行网络抓包，然后结合其他工具（如Wireshark）进行分析。以下是一个基于引用[1][2][3][4]的详细回答： ### 用于丢包分析的TCP程序 进行TCP丢包分析通常需要以下步骤： 1. **抓包工具**：使用`tcpdump`捕获网络数据包（引用[3]）。 2. **分析工具**：使用`Wireshark`等图形化工具对抓包文件进行深入分析。 #### 1. 使用tcpdump抓包 `tcpdump`是Linux下常用的命令行抓包工具，常用参数如下（引用[3]）： - `-c`：指定抓取包的数量，例如`-c 100`表示抓取100个包。 - `-i`：指定网卡接口，例如`-i eth0`表示抓取eth0网卡的数据。 - `-n`：不进行域名解析（显示IP地址）。 - `-nn`：不进行域名和端口服务名解析（显示IP和端口号）。 - `-w`：将抓包数据写入文件，例如`-w dump.pcap`。 示例命令（抓取eth0网卡的1000个TCP包并保存到文件）： ```bash tcpdump -i eth0 -c 1000 -nn -w tcp_dump.pcap ``` #### 2. 使用Wireshark分析 将`tcpdump`抓取的文件（如`tcp_dump.pcap`）导入Wireshark，可以进行以下分析： - 检查TCP重传（Retransmission）：表明数据包可能丢失。 - 检查重复ACK（Dup ACK）：表明接收端收到乱序包，可能由丢包引起（引用[2]）。 - 观察RTT（往返时间）和RTO（重传超时）变化，丢包会导致RTT增大和RTO延长（引用[2]）。 - 分析TCP序列号，寻找数据空洞（接收端未收到的数据段），这可能是丢包或乱序（引用[2]）。 #### 3. 其他辅助工具 - **`netstat`**：查看网络统计信息（如丢包计数）。 - **`ss`**：查看详细的套接字信息（包括重传次数）。 - **`conntrack`**：检查连接跟踪状态（引用[4]提到`nf_conntrack_in`和`nf_conntrack_confirm`）。 ### 示例分析流程 1. **抓包**：在出现问题的机器上运行`tcpdump`抓包。 2. **传输文件**：将抓包文件下载到本地，用Wireshark打开。 3. **过滤分析**：在Wireshark中使用过滤表达式（如`tcp.analysis.retransmission`）查看重传包。 4. **结合日志**：对比应用程序日志和抓包时间，定位问题（如引用[1]中TCP丢包导致应用程序停顿）。 §§相关问题§§ 1. 如何用Wireshark分析TCP重传? 2. 除了tcpdump，还有哪些Linux网络诊断工具? 3. TCP丢包常见的原因有哪些? </think> ### 用于丢包分析的TCP程序 进行TCP丢包分析通常需要结合以下工具和方法： #### 1. **基础抓包工具** - **tcpdump**（命令行抓包） 最常用的基础工具（引用[3]），可保存原始包数据： ```bash tcpdump -i eth0 -nn -w dump.pcap port 80 # 抓取80端口流量 ``` 关键参数： - `-w`：保存到文件（需用Wireshark分析） - `-nn`：禁用域名/服务名解析 - `-XX`：输出完整包头数据 #### 2. **图形化分析工具** - **Wireshark** 用于深度分析抓包文件，核心功能： - 过滤重传包：`tcp.analysis.retransmission` - 检测乱序包：`tcp.analysis.out_of_order` - 查看Dup ACK：`tcp.analysis.duplicate_ack` - 统计RTT时延变化（引用[2]中提到的RTT样本值影响） #### 3. **系统诊断工具** - **conntrack** 检查连接跟踪状态（引用[4]）： ```bash conntrack -L | grep ESTABLISHED # 查看活跃连接状态 ``` - **ss**（Socket Statistics） 获取实时TCP指标： ```bash ss -ti # 显示详细TCP信息（含丢包重传计数） ``` #### 4. **高级诊断框架** - **eBPF/bcc工具包** 通过内核级跟踪分析丢包： ```bash # 跟踪TCP重传事件 sudo tcpretrans -v # 监控内核丢包 sudo dropwatch ``` ### 典型分析流程 1. **抓包捕获** 使用`tcpdump`在客户端/服务端同时抓包（引用[3]） 2. **对比分析** - 在Wireshark中对比两端抓包文件 - 定位首个丢失的SEQ号（引用[2]中乱序与丢包的判断） 3. **内核跟踪** 通过`conntrack`检查连接状态机（引用[4]），使用`bcc`工具监控内核丢包点 4. **性能关联** 结合应用日志确认卡顿时间是否与TCP重传同步（引用[1]） > 示例：当发现Dup ACK突增时，通过`tcp.analysis.ack_rtt > 100ms`过滤高延迟ACK，结合`ss -ti`中的`sretrans`字段验证重传率。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值