18、网络故障排查全攻略

网络故障排查全攻略

在网络使用过程中，我们常常会遇到各种网络问题，如延迟高、响应慢、网络瓶颈等。这些问题不仅会影响我们的上网体验，还可能对企业的正常运营造成严重影响。本文将详细介绍网络故障排查的方法和技巧，帮助你快速定位并解决网络问题。

1. 网络设备延迟问题排查

当遇到网络延迟问题时，我们首先可以检查主机之间的设备，如路由器、交换机、防火墙、代理服务器等。通过实际案例分析，我们可以更清晰地了解网络延迟的来源。

例如，客户端（IP：192.168.10.196）与服务器（IP：128.173.97.169）进行通信时，在三次握手过程中，SYN/ACK 数据包的传输时间超过了 0.36 秒，在 GET 请求后，ACK 数据包返回也大约花费了 0.30 秒。经过分析，这种延迟并非由客户端或服务器本身引起，而是由网络中的设备导致的。因此，在这种情况下，我们应重点检查路由器、交换机或防火墙等设备，而不是浪费时间去排查源和目的地。

2. 客户端和服务器端延迟问题分析

• 客户端延迟 ：以一次上网经历为例，在使用 Wireshark 捕获数据包的过程中，发现客户端（IP：192.168.10.196）发出的 GET 请求响应时间过长，第一次为 1 秒，第二次超过 3.5 秒。进一步调查发现，三次握手过程正常，没有延迟迹象。随后检查客户端机器的资源分配情况，发现 CPU 和内存利用率很高，原来是有三个忘记关闭的虚拟机占用了大量内存，这就是导致客户端延迟的主要原因。
• 服务器端延迟 ：同样通过 Wireshark 捕获数据包，在客户端（IP：192.168.10.96）与服务器（IP：198.41.184.93）的通信过程中，三次握手正常，但在服务器准备开始数据传输时，出现了约 0.35 秒的延迟。这可能是由于服务器网络流量过大，或者服务器运行了多个应用程序导致 CPU 和内存消耗过高。

3. 识别高 HTTP 响应时间的方法

为了识别高 HTTP 响应时间，我们可以按照以下步骤进行操作：
1. 打开浏览器，访问一些网站，同时让 Wireshark 在后台监听数据包。
2. 访问至少 3 - 4 个网站后，停止捕获过程。
3. 切换到 Wireshark，进行必要的设置。首先，禁用“Allow subdissector to reassemble TCP streams”选项。在列表窗格中选择任何 TCP 数据包，然后在详细信息窗格中右键单击 TCP 部分，点击该选项进行禁用。
4. 在列表窗格中添加“http.time delta”列，以便更清晰地查看和识别延迟情况。具体操作是选择任何 HTTP 数据包，展开详细信息窗格中的 HTTP 协议部分，右键单击“Time since request”参数，点击“Apply as Column”选项。
5. 操作完成后，在列表窗格的信息列之前会显示“Time Since Request”列。
6. 对新添加的列按降序排序，以找出访问的网站中响应时间最高的服务器。排序后，响应时间最高的会话将显示在列表窗格的顶部。

此外，我们还可以通过创建 IO 图来直观地识别高延迟情况。从图中可以清晰地看到，在大约 45 秒的浏览会话中，请求的响应时间超过了 1 秒。

4. 基于 DNS 响应时间排查问题

DNS 查询和响应有时也会导致网络体验变差。我们可以通过以下步骤来识别问题的来源：
1. 打开浏览器，访问至少 3 - 4 个网站，同时让 Wireshark 在后台捕获数据包。
2. 停止捕获过程，在跟踪文件中应用“dns”作为显示过滤器，只显示 DNS 数据包。
3. 在列表窗格中选择任何 DNS 响应数据包，展开详细信息窗格中对应的 DNS 部分，右键单击“Time”参数，点击“Apply as Column”选项。
4. 操作完成后，列表窗格的信息列旁边会显示时间列。
5. 对该列按降序排序，找出 DNS 响应时间最高的会话。排序后，响应时间最高的会话将显示在列表窗格中，可用于进一步调查。
6. 同样，我们也可以创建 IO 图来直观地查看 DNS 响应时间情况。从图中可以看到，DNS 响应时间高达约 2.5 秒，这是需要关注和解决的问题。

5. 网络瓶颈问题排查

网络瓶颈是企业网络中常见的问题，当数据包排队或传输过程出现意外延迟时，可能是由于服务器端系统无法以处理信息的速度发送或接收信息。为了模拟和排查网络瓶颈问题，我们可以进行以下操作：
- 准备工作 ：在一个小型局域网中，网关 IP 为 192.168.10.1，客户端 IP 为 192.168.10.209。我们需要一个网络流量生成器和一个 ping 工具（大多数操作系统都已预装）。
- 模拟过程 ：从客户端向服务器发起非顶级 ping 请求，同时启动流量生成器应用程序，该程序会尝试消耗网关资源，以模拟客户端的网络瓶颈场景。
- 对比分析 ：首先，我们可以通过 IO 图查看正常的网络流量模式，将其作为基线。正常情况下，网络流量模式没有明显偏差，只有 ICMP 数据包从客户端发送到服务器。然后，在引入流量生成器后，再次查看 IO 图，会发现网络出现了堵塞，形成了瓶颈。瓶颈问题在图中表现为吞吐量的起伏，即下降和上升的速率相同，这种流量模式的偏差表明网络中存在瓶颈。

当常规的故障排查方法都失效时，我们可以使用网络基线来解决网络缓慢的问题。网络基线是通过收集网络中各个点的关键信息形成的，其目的是将异常流量与基线进行比较，以了解偏差程度。在创建基线时，我们可以分别为网络、主机和应用程序创建不同的基线，同时考虑每个工作站点的特点。对于广域网，创建故障排除站点基线会非常有用，可考虑的数据包括数据传输速率、使用的应用程序、广播流量模式等。

6. 应用程序故障排查

网络中的应用程序也可能是导致客户端问题的主要原因之一。在排查应用程序故障时，仅从一端捕获数据包可能不够，我们应尽量在多个分析点捕获应用程序的流量，以便更深入地了解网络应用程序的情况。

为网络应用程序创建基线时，可以考虑以下规则：应用程序与其他协调应用程序的依赖关系、分析启动和关闭过程、应用程序传输数据包的速率、协调应用程序正常运行的各种协议以及新安装过程中应用程序与网络的交互方式等。但需要注意的是，直接从抱怨问题的主机捕获流量可能会导致主机负载过高，影响其正常使用，并且可能会捕获到异常数量的丢包，使应用程序基线不准确。

下面以 HTTP 和 DNS 这两个常见的应用协议为例，介绍如何排查应用程序故障：
- HTTP 应用程序异常排查 ：
1. 打开浏览器，访问网关的默认主页，通常会出现登录界面。
2. 打开 Wireshark，在后台运行并捕获所有活动。
3. 在密码字段中输入错误密码，点击登录，此时屏幕会显示登录名和密码错误的消息。
4. 访问任意网站，点击链接，成功打开页面后，将地址栏中的网页扩展名改为任意内容，如 .foo、.abc 等，网页会显示错误信息，如“页面未找到”，暂时忽略该错误。
5. 返回 Wireshark，停止数据包捕获过程。
6. 在列表窗格中可以看到许多数据包，我们关注的是错误代码消息。
7. 点击显示过滤器框，应用“http.response.code >= 400”过滤器，然后点击应用。
8. 应用过滤器后，列表窗格中只会显示符合条件的数据包。
9. 我们可以轻松地从大量的跟踪文件中识别出错误代码。此外，还可以为该过滤器创建一个按钮，点击按钮即可只显示相关数据包，并且可以对其进行着色，以便更好地查看。具体操作是不清除当前过滤器，点击显示过滤器区域中“Apply”按钮旁边的“Save”按钮，在弹出的对话框中为按钮指定一个名称，点击“OK”。之后，在显示过滤器工具栏区域会出现该按钮，需要时只需点击按钮即可应用该过滤器。
- DNS 应用程序异常排查 ：
1. 打开 Wireshark，开始捕获数据包，让其在后台运行。
2. 打开操作系统的终端（命令提示符），输入 nslookup 并按回车键，进入 nslookup 工具的交互模式。如果不熟悉该工具，建议在操作前先了解相关文档。
3. 为了生成 DNS 错误响应代码，在输入域名前，使用“set type=a”命令将查询类型更改为 A，然后输入域名并按回车键。可以先尝试查询存在的域名，如 google.com，然后再尝试查询不存在的域名。
4. 当输入不存在的域名时，DNS 服务器无法解析 IP 地址，会返回“server can’t find”的回复。
5. 返回 Wireshark，停止捕获过程，开始分析错误代码。
6. 为了将 DNS 错误响应代码从跟踪文件的正常帧中分离出来，应用“dns.flags.rcode == 3”显示过滤器，该过滤器表示显示错误代码为 3 的 DNS 响应帧，即针对不存在的域名。如需了解更多 DNS 错误代码信息，可访问 https://tools.ietf.org/html/rfc2929。
7. 应用过滤器后，列表窗格中只会显示相关的数据包。
8. 如果需要，也可以将过滤器表达式保存为按钮，以便后续使用。

通过以上方法，我们可以有效地排查网络中的各种故障，提高网络的稳定性和性能。在实际操作中，我们应根据具体情况灵活运用这些方法，不断积累经验，以更好地解决网络问题。

网络故障排查全攻略

7. 网络故障排查流程总结

为了更清晰地展示网络故障排查的整体流程，我们可以用 mermaid 格式的流程图来呈现：

graph LR
    A[发现网络问题] --> B[初步判断问题类型]
    B --> C{延迟问题}
    B --> D{响应慢问题}
    B --> E{网络瓶颈问题}
    B --> F{应用程序问题}
    C --> G[检查主机间设备]
    C --> H[分析客户端和服务器端延迟]
    D --> I[识别高 HTTP 响应时间]
    D --> J[排查 DNS 响应时间问题]
    E --> K[模拟网络瓶颈场景]
    E --> L[对比正常与异常流量模式]
    F --> M[多分析点捕获应用程序流量]
    F --> N[创建应用程序基线]
    G --> O[检查路由器、交换机、防火墙等]
    H --> P[检查客户端资源分配]
    H --> Q[分析服务器负载情况]
    I --> R[Wireshark 设置及排序查找高响应时间]
    I --> S[创建 IO 图直观查看]
    J --> T[过滤 DNS 数据包并排序查找高响应时间]
    J --> U[创建 IO 图直观查看]
    K --> V[准备流量生成器和 ping 工具]
    K --> W[模拟瓶颈场景]
    L --> X[使用网络基线对比分析]
    M --> Y[捕获多分析点流量]
    N --> Z[考虑应用程序多方面规则]
    O --> AA[修复或优化设备]
    P --> AB[关闭占用资源的程序]
    Q --> AC[优化服务器配置]
    R --> AD[确定高响应时间服务器并处理]
    S --> AE[根据 IO 图分析并处理]
    T --> AF[确定高响应时间 DNS 服务器并处理]
    U --> AG[根据 IO 图分析并处理]
    W --> AH[观察流量模式偏差]
    X --> AI[判断瓶颈位置并处理]
    Y --> AJ[分析应用程序流量异常]
    Z --> AK[调整应用程序基线]

这个流程图涵盖了从发现网络问题到具体排查和处理的各个环节，帮助我们更系统地进行网络故障排查。

8. 常见网络故障问题及解决方法汇总

问题类型	具体表现	可能原因	解决方法
延迟问题	SYN/ACK 或 ACK 数据包传输时间长	主机间设备问题、客户端或服务器资源不足	检查路由器、交换机、防火墙等设备；检查客户端 CPU 和内存利用率，关闭不必要程序；优化服务器配置
响应慢问题	HTTP 响应时间长、DNS 响应时间长	服务器负载高、DNS 服务器问题	识别高响应时间的服务器，优化服务器配置；排查 DNS 服务器，根据响应时间调整 DNS 设置
网络瓶颈问题	网络吞吐量起伏、数据传输慢	服务器处理速度跟不上、网络流量过大	模拟网络瓶颈场景，对比正常与异常流量模式，使用网络基线确定瓶颈位置，优化网络设备或调整流量
应用程序问题	HTTP 或 DNS 出现错误代码	应用程序配置错误、服务器资源不足	捕获应用程序多分析点流量，创建应用程序基线，根据错误代码排查问题，调整应用程序配置或优化服务器资源

9. 网络故障排查的注意事项

在进行网络故障排查时，还需要注意以下几点：
- 数据准确性 ：在使用 Wireshark 等工具捕获数据包时，要确保捕获的环境和条件尽可能接近真实的网络使用场景，以保证数据的准确性。同时，对于捕获的数据包，要进行仔细的分析，避免误判。
- 资源占用 ：在创建应用程序基线或捕获数据包时，要注意避免对主机造成过高的资源负载，影响主机的正常使用。可以选择合适的时间和方式进行数据捕获。
- 过滤器使用 ：在使用 Wireshark 的显示过滤器时，要熟悉各种过滤器的语法和使用方法，确保能够准确地筛选出所需的数据包。同时，对于常用的过滤器，可以保存为按钮，方便后续使用。
- 错误代码了解 ：对于常见的应用程序协议（如 HTTP、DNS）的错误代码，要有所了解。在遇到问题时，能够根据错误代码快速定位问题所在，提高排查效率。

10. 总结与展望

通过本文的介绍，我们详细了解了网络故障排查的各种方法和技巧，包括从网络设备、客户端和服务器端、HTTP 响应时间、DNS 响应时间、网络瓶颈以及应用程序等多个方面进行排查。同时，我们还通过流程图和表格对排查流程和常见问题进行了总结，方便大家在实际操作中参考。

在未来的网络使用中，随着网络技术的不断发展和网络环境的日益复杂，网络故障可能会更加多样化和复杂化。我们需要不断学习和掌握新的排查方法和技术，提高自己的故障排查能力。同时，建立完善的网络监控和预警机制，及时发现和处理潜在的网络问题，保障网络的稳定运行。希望大家能够将本文所介绍的方法运用到实际的网络故障排查中，不断积累经验，提升自己的网络运维水平。