网络排故

网络问题描述：一个交换机有1G网口和10G网口，一台设备A连接在10G网口上，一台设备B连接在1G网口上。A向B发送周期性视频数据，大约每秒2MB，应用层使用的是DDS协议，出现严重延迟。
排故过程：初步考虑是交换机问题，在10G口和1G口分别进行了镜像抓包，并进行了对比，发现了10G口进的包和1G口出的包一样，没有丢包，但是因为DDS协议是有应答机制的，也就是发送数据包之后还需要有应答，才会继续发下一包，否则会重传，这里发现1G口上的设备没有应答，所以会不断重穿，使得应用数据严重延迟。
初步怀疑是DDS问题，则换用UDP测试，发现UDP也有类似问题，继续排查，发现1G设备上网卡有丢包现象，也就是网卡上的数据没有到达内核，导致导致内核调用tcpdump时也丢包，使用ethtool -S，netstat -su发现丢包，是由于数据校验出错，因此继续排查网络路径，比对每个点的数据是否一致。因为交换机只会对mac包进行校验，但是udp的校验不会进行。如果网络路径中出现误码，则可能导致网卡接收数据时出错。
排故思路：1）应该把复杂的问题简单化，例如DDS不行就及早用UDP来实验，这样可以尽快隔离问题。2）在网络路径上进行考虑，每一段都能监控，比对。3）熟悉各种工具。