Linux网络使用与性能分析-优快云博客

本文链接：https://blog.youkuaiyun.com/u010378559/article/details/141916346

网络模型

OSI网络模型
七层

应用层，负责为应用程序提供统一的接口。
表示层，负责把数据转换成兼容接收系统的格式。
会话层，负责维护计算机之间的通信连接。
传输层，负责为数据加上传输表头，形成数据包。
网络层，负责数据的路由和转发。
数据链路层，负责 MAC 寻址、错误侦测和改错。
物理层，负责在物理网络中传输数据帧
四层
应用层，负责向用户提供一组应用程序，比如 HTTP、FTP、DNS 等。
传输层，负责端到端的通信，比如 TCP、UDP 等。
网络层，负责网络包的封装、寻址和路由，比如 IP、ICMP 等。
网络接口层，负责网络包在物理网络中的传输，比如 MAC 寻址、错误侦测以及通过网卡传输网络帧等。

TODO：网络模型图

Linux协议栈

有了 TCP/IP 模型后，在进行网络传输时，数据包就会按照协议栈，对上一层发来的数据进行逐层处理；然后封装上该层的协议头，再发送给下一层。
TODO：每一层的协议栈图

网络接口配置的最大传输单元（MTU），规定了最大的 IP 包大小。其中最常用的以太网中，MTU 默认值是 1500（这也是 Linux 的默认值）。一旦网络包超过 MTU 的大小，就会在网络层分片，以保证分片后的 IP 包不大于 MTU 值。MTU 越大，需要的分包也就越少，自然，网络吞吐能力就越好。
TODO 图片

Linux网络收发流程

网络包的接收流程:

当一个网络帧到达网卡后，网卡会通过 DMA 方式，把这个网络包放到收包队列中；然后通过硬中断，告诉中断处理程序已经收到了网络包。
网卡中断处理程序会为网络帧分配内核数据结构（sk_buff），并将其拷贝到 sk_buff 缓冲区中；然后再通过软中断，通知内核收到了新的网络帧
内核协议栈从缓冲区中取出网络帧，并通过网络协议栈，从下到上逐层处理这个网络帧。比如，在链路层检查报文的合法性，找出上层协议的类型（比如 IPv4 还是 IPv6），再去掉帧头、帧尾，然后交给网络层。网络层取出 IP 头，判断网络包下一步的走向，比如是交给上层处理还是转发。当网络层确认这个包是要发送到本机后，就会取出上层协议的类型（比如 TCP 还是 UDP），去掉 IP 头，再交给传输层处理。传输层取出 TCP 头或者 UDP 头后，根据 < 源 IP、源端口、目的 IP、目的端口 > 四元组作为标识，找出对应的 Socket，并把数据拷贝到 Socket 的接收缓存中。
最后，应用程序就可以使用 Socket 接口，读取到新接收到的数据了。

网络包的发送流程

和上述相反，首先，应用程序调用 Socket API（比如 sendmsg）发送网络包。由于这是一个系统调用，所以会陷入到内核态的套接字层中。套接字层会把数据包放到 Socket 发送缓冲区中。接下来，网络协议栈从 Socket 发送缓冲区中，取出数据包；再按照 TCP/IP 栈，从上到下逐层处理。比如，传输层和网络层，分别为其增加 TCP 头和 IP 头，执行路由查找确认下一跳的 IP，并按照 MTU 大小进行分片。分片后的网络包，再送到网络接口层，进行物理地址寻址，以找到下一跳的 MAC 地址。然后添加帧头和帧尾，放到发包队列中。这一切完成后，会有软中断通知驱动程序：发包队列中有新的网络帧需要发送。最后，驱动程序通过 DMA ，从发包队列中读出网络帧，并通过物理网卡把它发送出去。

模拟丢包

很多时候需要测试网络丢包情况下发送和接收端是怎么处理，这个时候就需要真实的丢包环境，Linux下可以使用内核内置功能 tc(Traffic Control) 和 netem(Network Emulation)可以实现发送端丢包。

检查系统是否支持tc和netem，运行以下命令查看netem：

lsmod | grep sch_netem

如未启用加载netem模块

sudo modprobe sch_netem
# 验证是否加载成功
lsmod | grep sch_netem  # 应返回 "sch_netem"

如未安装使用以下命令安装：

sudo apt update && sudo apt install iproute2 -y

使用

模拟丢包10%:

# 注意：这里的eth0是网卡，可以选成自己的
sudo tc qdisc add dev eth0 root netem loss 10%

如果要重新设置丢包率，需要先删除所有规则：

sudo tc qdisc del dev eth0 root

查看当前规则

sudo tc qdisc show dev eth0

模拟组合+延迟+抖动

# 5% 丢包 + 100ms 延迟 ± 20ms 抖动
sudo tc qdisc add dev eth0 root netem loss 5% delay 100ms 20ms

问题汇总

在docker中运行tc qdisc add dev eth0 root netem loss 10%后报错：是因为docker容器默认无权限修改宿主网络，需要添加 --cap-add=NET_ADMIN 来创建容器

RTNETLINK answers: Operation not permitted

tcpdump

tcpdump --help
tcpdump version 4.99.1
libpcap version 1.10.1 (with TPACKET_V3)
OpenSSL 3.0.2 15 Mar 2022
Usage: tcpdump [-AbdDefhHIJKlLnNOpqStuUvxX#] [ -B size ] [ -c count ] [--count]
                [ -C file_size ] [ -E algo:secret ] [ -F file ] [ -G seconds ]
                [ -i interface ] [ --immediate-mode ] [ -j tstamptype ]
                [ -M secret ] [ --number ] [ --print ] [ -Q in|out|inout ]
                [ -r file ] [ -s snaplen ] [ -T type ] [ --version ]
                [ -V file ] [ -w file ] [ -W filecount ] [ -y datalinktype ]
                [ --time-stamp-precision precision ] [ --micro ] [ --nano ]
                [ -z postrotate-command ] [ -Z user ] [ expression ]

参数：

-i:指定网卡
- 所有网卡：any；
- 环回包：lo
host：指定这台主机接收和发送的数据
-s：指定抓到的每个包的前多少个字节，比如我只想抓每一个frame的前80个字节，就用-s 80，0表示抓取全部
-w：保存到指定的文件中
host xxx：指定抓取地址包含xxx的包
src host xxx：指定抓取源地址为xxx的包
dst host xxx：指定抓取目标地址为xxx的包
读取已保存的抓包文件：
- -r，会打印ip，port，传输层协议和length，如：tcpdump -r mypcap.pcap，如果要打印详细信息需要加-X，如tcpdump -r 230710002.pcap -X

https://www.cnblogs.com/f-ck-need-u/p/7064286.htmlhttps://www.cnblogs.com/lvdongjie/p/10911564.html7.TCP参数过滤tcp.flags 显示包含TCP标志的封包。tcp.flags.syn == 0x02 显示包含TCP SYN标志的封包。tcp.window_size == 0 && tcp.flags.reset != 1去掉重传的包：!(tcp.analysis.retransmission)，重传：tcp.analysis.retransmission8.包内容过滤-----------------------------------------------tcp[20]表示从20开始，取1个字符tcp[20:]表示从20开始，取1个字符以上注：些两虚线中的内容在我的wireshark（linux）上测试未通过。关键字过滤/查找：
* frame.number>21 && frame.number<25：过滤序号在(21, 25)内的报文

1、Wireshark的数据包详情窗口，如果是用中括号[]括起来的，表示注释，在数据包中不占字节2、在二进制窗口中，如“DD 3D”，表示两个字节，一个字节8位3、TCP数据包中，seq表示这个包的序号，注意，这个序号不是按1递增的，而是按tcp包内数据字节长度加上，如包内数据是21字节，而当前IP1发到IP2的包的seq是10的话，那下个IP1发到IP2的包的seq就是10+21=31——同一个方向看seq，这一个seq=上一个seq+len7、8、在网络不堵即滑动窗口一点都不堵的情况下，第一个包的ack号就是第二个包的seq号，如果堵了，由于是滑动窗口缓存处理队列，所以这个值会错开9、如果A发到B连续几个包，seq号不变，ack号一直在变大，说明A一直在收B的数据，一直在给B应答10、如果A发到B连续几个包，seq号一直变大，ack号一直没变，说明A一直在向B发数据，不用给B应答，而是在等B的应答11、可以接收多个数据包后，一次性给一个应答，不用每个数据包一一对应给应答12、发了一个包，很久没有收到应答后，会重发包，在Wireshark抓包工具提示“[TCP Retransmission]”，在数据包详情窗口点开可以看到是对哪个数据包的重传14、如果出现这个错误“[]”，说明乱序了，前一个包没有收到，收到后面的包了，这时也会重传包tcp segment of a seassembled PDU: 说明发送端发送的TCP缓存数据过大，需要进行分片发包，分片发包过程中，发送端发送的数据报文中的Ack(Acknowledgment number)编号保持一致retransmission:重传常见问题：为什么会发送RST？https://blog.youkuaiyun.com/u014774781/article/details/48349107https://blog.youkuaiyun.com/guowenyan001/article/details/11766929