ECS 端口不通,丢包诊断看这里!阿里云 SysOM 智能诊断实战!

作者:万瑞萍

背景

随着云计算的深入应用,企业核心业务加速上云,高质量的网络通信已成为保障业务连续性的关键。作为网络传输的核心指标,数据包丢失直接影响系统稳定性:轻度丢包可能导致通信中断、数据异常,扰乱业务逻辑;严重丢包则可能引发健康检查失败、Ping 不通、服务拒绝等系统性故障,带来连锁运维问题。

某客户在新区域部署分布式集群时,突遇网络丢包,导致节点通信中断,业务部署停滞,资源持续闲置。面对这一紧急情况,阿里云云监控 2.0 通过 SysOM 智能诊断功能,在数小时内精准定位故障根源,帮助客户快速恢复业务部署与系统稳定运行,有效避免资源浪费。
本文将通过这一典型案例,深入解析 SysOM 在丢包故障排查中的实战应用,展示其如何助力企业高效恢复业务连续性。

通过丢包诊断精准定位问题根源

场景一:快速定界问题

在阿里云 ACK(阿里云 Kubernetes 服务)新区域集群部署过程中,某客户遭遇系统性健康检查异常,导致业务部署流程全面受阻。在排除 iptables 规则配置异常的可能性后,运维团队将故障定位重点转向内核层丢包问题。

该类问题的排查涉及复杂的内核级分析流程,要求运维人员具备扎实的内核源码分析能力。需追踪数据包在内核协议栈中的处理路径,并结合 netfilter 框架各 hook 点的流量特征进行深度监控。这种技术方案不仅对排查人员的内核调试能力提出严苛要求,同时需要投入大量时间资源进行问题复现与验证。

本次故障处置中,我们借助操作系统控制台的能力,成功定位问题根源。典型云原生架构下,承载 ACK Pod 的 ECS 实例集群前端配置了 SLB 负载均衡器,形成标准的云原生部署拓扑(如架构图所示)。

image

我们通过 tcpdump 对 ECS 的 eth0 网卡上进行抓包。抓包结果如下,抓包结果显示,源地址为SLB健康检查网段,此时 SLB 持续向本机发送 SYN 包以建立连接。但本机未返回 ACK 包,导致健康检查失败。那么本机为何未能返回 ACK 包?

image

检查 iptable 规则

按照常规排查思路,我们首先考虑是否存在 iptables 规则导致请求被过滤的可能性。但通过对正常主机与异常主机的 iptables 配置进行比对核查后发现,两者策略保持完全一致,由此可以判定该因素并非造成当前网络异常的原因。

排查内核丢包

排查内核丢包问题时,过去往往需要精通网络内核模块的资深工程师进行深度分析,而如今只需通过阿里云操作系统控制台轻松操作,即可快速实现过去需专业人员才能完成的复杂诊断任务。

使用操作系统控制台对问题实例进行诊断:

image

如图上所示,在云监控控制台选择 ECS 洞察,选择系统诊断(SysOM)、节点诊断、网络诊断、丢包诊断,在第 5 步中选择所需要诊断的实例 ID,最后点击执行诊断。诊断完成以后,点击查看报告,可以看到机器中的丢包情况。

image

image

如上图所示,诊断结果显示未发现已知丢包异常记录。由此可判断,内核层丢包可能性已基本排除。

排查驱动或其他模块

结合操作系统控制台的诊断信息,目前已基本确认内核并未发生丢包,成功排除了底层协议栈存在异常的可能性。进一步分析显示,eth0 接口已成功接收到 SYN 包,说明网络链路未出现数据丢失;同时,iptables 规则检查无异常,也排除了因配置规则导致问题的可能。在完成上述排查后,我们意识到仍有一个潜在维度尚未覆盖——网络驱动或中间件模块可能存在异常。基于这一假设,我们决定将系统中的钩子(hook)日志打印出来进行分析。

image

从上图可以看出,与正常机器相比,该系统中多出了大量 sched_cls 类型的钩子。经与 ACK 研发团队确认,这些钩子来自某个网络组件。由此我们高度怀疑正是该组件所注入的钩子导致 SYN 包被意外过滤,遂将其卸载。卸载后,健康检查立即恢复正常。

image

通过操作系统控制台的协助,我们迅速完成了问题的初步定位,排除了内核丢包的可能性,从而能够更快地将排查重点转向其他方向,为后续问题的解决节省了大量时间。

场景二:精准定位问题

某客户在新建实例后,发现 1678 端口无法通过 telnet 连通,严重影响其业务运行。该端口是其业务进程对外通信的关键入口,一旦不通,将导致服务无法正常与外部系统交互。

本案例与前述问题较为相似,同样表现为网络不通。在处理此类问题时,我们的标准排查流程是:首先对目标端口或网卡进行抓包,观察数据包的实际流向和交互情况。客户在其机器上执行了 telnet 测试,发现 22 端口可以正常连通,但 1678 端口及其他多个端口均无法访问。进一步检查确认,相关端口均有业务进程正常监听,服务本身运行无异常。按照常规思路,我们首先怀疑是否为 iptables 规则拦截所致。在客户配合下,我们详细检查了该主机的 iptables 配置,确认未设置任何特殊或限制性规则,基本排除了防火墙策略导致的问题。结合上一个案例的经验,我们进一步考虑是否存在网络驱动或内核模块中的钩子(hook)干扰了数据包处理。于是,我们重点排查了系统中是否安装了安全类组件或注入了异常函数钩子。经查,该机器未部署额外的安全软件,也未发现可疑的内核钩子或网络拦截模块。因此,钩子机制导致 SYN 包被过滤的可能性也被排除。问题原因需从其他维度继续深入分析。

既然钩子和 iptables 都没有问题,那是否可能是内核层面出现了丢包?带着这个疑问,我们可以通过操作系统控制台对异常实例进行进一步诊断:

image

很快,诊断完成后,我们查阅了生成的诊断报告。

image

诊断报告中明确提示:需删除 iptables 丢包规则或相关 netfilter 驱动。结论十分清晰——丢包是由 netfilter 机制引起的。既然问题根源指向 netfilter,那么首要排查对象便是其规则配置。考虑到现代 Linux 系统可能同时使用 iptables 和 nftables(后者作为 netfilter 的新一代前端),我们首先检查 nftables 的规则设置:

image

通过查看 nftables 规则配置,发现其中确实存在一条针对 1678 端口的 drop 规则。

image

删除对应的规则并更新配置后,在本机监听 1678 端口,发现连接已恢复正常,问题得以解决。

image

总结

在日常系统运维中,丢包问题可能导致业务通信中断、服务异常甚至无法部署。但这类问题并非不可攻克——阿里云操作系统控制台提供了简单、易用且专业的诊断工具。当怀疑系统存在丢包时,可结合控制台按以下步骤进行排查:

  1. 首先直接使用操作系统控制台的丢包诊断功能,查看报告是否明确指出了问题根源。
  2. 若诊断结果显示内核未发生丢包,则检查系统是否安装了额外的安全软件,或与正常环境对比是否存在异常的钩子(hook)。
  3. 在确认无非预期驱动或钩子后,进一步核查 iptables 规则配置是否正确。
  4. 若仍无法定位丢包点,可借助 funcgraph、BPF 等工具,在可疑的网络路径上打点抓包,精准定位丢包位置。

通常,结合操作系统控制台并遵循上述四个步骤,大多数丢包问题都能被有效识别和解决,让复杂的网络故障变得轻松可控。

相关链接:

[1] 《一次内存诊断,让资源利用率提升 40%:揭秘隐式内存治理》

[2] 云监控 - ECS 洞察 - SysOM 系统诊断

https://cmsnext.console.aliyun.com/next/region/cn-shanghai/workspace/default-cms-1808078950770264-cn-shanghai/app/host/host-sysom

[3] 操作系统控制台实例纳管

https://help.aliyun.com/zh/alinux/user-guide/system-management?spm=a2c4g.11186623.help-menu-2632541.d_2_0_4.14ef243dMTjYF1&scm=20140722.H_2851198._.OR_help-T_cn~zh-V_1#7895eb3dedfty

[4] 操作系统控制台 Java 内存诊断

https://help.aliyun.com/zh/alinux/user-guide/java-memory-diagnostics?spm=a2c4g.11186623.help-menu-2632541.d_2_0_1_0_0_2.2fd8243d1slu08&scm=20140722.H_2979954._.OR_help-T_cn~zh-V_1

[5] 操作系统控制台热点追踪

https://help.aliyun.com/zh/alinux/user-guide/process-hotspot-tracking

[6] 操作系统控制台热点对比分析

https://help.aliyun.com/zh/alinux/user-guide/hot-spot-comparative-analysis

相关推荐

推荐一款好用的刷题工具

为了帮助正在准备求职季的开发者提升备战效率,阿里云特别推出“通义灵码陪你备战求职季”活动,精心挑选百道历史校招技术面试/笔试题,借助通义灵码智能问答、代码智能生成、代码优化等核心功能,帮助开发者更加准确地了解程序员职业所需的核心技能,加强对问题解决思维和解题能力的练习。

阿里巴巴云原生的博客 1385

通义灵码 Visual Studio 下载安装指南(附安装包)

本安装步骤适用于 Windows 10 及以上操作系统中安装和使用通义灵码。

阿里巴巴云原生的博客 4438

决策模型 Jev 可以直接上生产?用实验和公式理解 logit 调优与训练要领

本文的前半部分转载并整理自 Hamel Husain 与 Antaripa Saha 合著的《How To Use Decision Models for Evals》。后半部分是作者的一些洞见和见解。

阿里巴巴云原生的博客 68

阿里云智能体白皮书开源进展

![1](https://img2024.cnblogs.com/blog/1411156/202611/1411156-20261113183315580-502702075.png)![2](https://img2024.cnblogs.com/blog/1411156/202611/1411156-20261113183334678-741777744.png)![3](https://img2024.cnblogs.com/blog/1411156/202611/1411156-20261

阿里巴巴云原生的博客 17

万联智策基于 AgentCore 构建数字员工团队,800+智能体规模化落地

1 个智能 Leader,带领 4 个专家级智能“员工”,配套约 800 个随时可调用的 AI 数字员工,这样一个 AI 团队能帮企业做什么事?

阿里巴巴云原生的博客 198

关于 DeepSeek 的 SuperAgent,以及我们的实践

DeepSeek 的 SuperAgent 发布之后,行业内的普遍观点是 Agent 的设计基本收敛,对于我们也是一样,本文除介绍 DeepSeek SuperAgent 设计之外,会重点谈谈我们类似 SuperAgent 的技术和产品化探索。

阿里巴巴云原生的博客 105

生产更可信,订阅更耐用丨Higress 社区进展报告

阿里巴巴云原生的博客 147

让 Agent 成为企业生产力丨Alibaba Cloud AgentCore 企业智能体构建与治理沙龙·杭州站精彩回顾 & PPT 下载

近日,让 Agent 成为企业生产力丨Alibaba Cloud AgentCore 企业智能体构建与治理沙龙·杭州站圆满落幕。本场活动吸引了 100+ 名技术从业者深度参与,深度分享了企业 Agent 趋势、AgentCore 构建与治理、Agent 观测与优化、STAROps 智能运维及 AI 网关等相关议题,并设置了动手实操环节。

阿里巴巴云原生的博客 190

如何用 STAROps Elasticsearch 智能助手看穿“搜索变慢”

某电商平台的商品搜索服务使用一台 6 个数据节点的 Elasticsearch 实例。周五北京时间 20:00 起,业务陆续反馈搜索变慢。业务监控中的搜索接口 P99 从平时约 200 ms 升到 2s 以上,部分请求超时。值班工程师打开控制台:集群状态为 Green,没有未分配分片,集群平均 CPU 约 40%,乍看不像资源已经吃紧。

阿里巴巴云原生的博客 350

满帮基于阿里云 AgentCore 打造生产级 SRE 稳定性数字人

满帮基于阿里云 AgentCore 构建“稳定性数字人”:满帮提供业务知识、专业工具与处置流程,AgentCore 提供智能体运行、协作和治理支撑。数字人已在核心链路的巡检与根因分析中得到应用,受控处置能力也在持续建设,让满帮积累的稳定性能力能够在具体任务中得到复用。

阿里巴巴云原生的博客 278

稳定复现超 70% 的缺陷,报警到自动修复的 Agent 流水线实践

本文将分享我们在 PolarDB-X 团队做的一些工程实践:让 Agent 从一条报警或工单出发,自主完成排查、复现、修复和验证,再把结果交给研发评审。

阿里巴巴云原生的博客 313

从“自证清白”到“因果链条”:智能体如何重塑运维排障效率

STAROps 做全域关联分析,把范围从「五个团队依次自证清白」收拢到一条具体链路;证据指向对象存储后,OSS Agent 接手,基于真实配置、访问日志和用量数据往下挖,给出根因和支撑它的证据链。你面对的始终是一个对话框:路由归它管,说清现象、拍板方案归你。

阿里巴巴云原生的博客 148

TechTalk丨从能买奶茶到能进企业,Agent 绕不开同一组问题

史明伟所在的 Alibaba Cloud AgentCore 是企业级 Agent 构建和治理平台,为 Agent 在业务场景下的规模化落地提供基础设施,所以这场对话,他和 Datawhale 主持人从个人助理一路聊到企业 Agent:权限该怎么一步步放开?进了企业,账号打通、数据权限、沙箱隔离又会带来哪些新问题?没有强技术团队的企业,该从哪里起步?

阿里巴巴云原生的博客 220

AgentCore + Codex 构建生产级 Agent 的原理与实践

本文章演示 AgentCore[1]的自定义代码/镜像能力,目的是展示如何基于自定义的 Harness 框架(Codex) 结合 AgentCore 提供的身份、模型、工具、技能、凭证 、观测评估等能力实现一个端到端的 Agent 应用,内容包含两个部分,技术方案和实践教程,文末附相关源码和本次的测试数据,可以根据需要自行查阅。

阿里巴巴云原生的博客 193

让复杂任务由团队完成:阿里云 AgentCore 多 Agent 协作架构及实践

Alibaba Cloud AgentCore 以身份、通信、团队和任务为基础,让专业 Agent 与人类成员共同参与业务协作。企业可以按职责组合知识、工具、Skill 和模型,用任务系统持续追踪工作,再结合 AgentLoop 评估效果、优化配置。

阿里巴巴云原生的博客 383

易点天下:AI 驱动 IT 运维组织提效的实践

易点天下作为一家专注品牌全球化的营销科技公司,由智能营销、全域增长、智能变现三大引擎驱动。公司旗下拥有“整合营销服务”与“广告平台业务”两大业务线。

阿里巴巴云原生的博客 307

阿里云可观测 2026 年 10 月产品动态

阿里云可观测 2026 年 10 月产品动态

阿里巴巴云原生的博客 212

用 Nacos 3.3.0 ARD 让 Agent 按任务发现工具和 Skill

如今,工作中用 Agent 帮忙已经越来越常见。研发同学用 Coding Agent 写代码、补测试、排查问题,业务同学用 Work Agent 整理资料、分析表格、制作演示文稿。不少过去需要自己一步步操作的事情,现在可以把需求交给 Agent,让它协助完成。

阿里巴巴云原生的博客 328

HiRoute 新版本发布:结合自己的真实工作选择最佳模型

HiRoute[1]是一个开源、运行在本地的 Agent 智能路由引擎。你继续用 Codex、Claude Code、Qoder、Pi、OpenCode、Hermes、DeepSeek Harness 等熟悉的 Agent,由 HiRoute 判断每一步交给哪个模型。

阿里巴巴云原生的博客 394

用户说 App“下不了单”:用 Session Replay 看清流程卡在哪一步

Session Replay(会话回放)将采集到的页面变化重建为可回看的过程。研发可以沿着这次会话,查看操作前后的界面变化,先确认流程停在了哪里,再结合当时的事件、日志和代码检查原因。

阿里巴巴云原生的博客 56

欢迎报名丨Alibaba Cloud AgentCore 企业智能体构建与治理八城巡回沙龙 · 杭州站开启

欢迎报名丨Alibaba Cloud AgentCore 企业智能体构建与治理八城巡回沙龙 · 杭州站开启

阿里巴巴云原生的博客 158

运维走出控制台:阿里云 AgentCore AI Native 运维实践

UModel 让现场能够被关联,运维数字员工让经验能够被调用,AgentCore Team 让分析能够协作,AgentLoop 让质量能够被检验。这些建设共同服务于一件事:让团队对系统的理解,成为每个人处理问题时都能接上的能力。

阿里巴巴云原生的博客 312

从长程 Agent 到 Super-agent,解锁更多场景

Deepseek Harness 提升了架构的透明度,但也带来了工程上的复杂度。这次开源的dsh-superagent-prototype,是对 Agent “连续实体”能力的工程拆解。

阿里巴巴云原生的博客 242

排查提效 50%:淘大集新核心系统的观测护航之路

供应链运维,缺的不是更多机器,是“一条能把指标、日志、链路串起来的线”。阿里云 ARMS+SLS+云监控2.0+STAROps 重构观测底座。

阿里巴巴云原生的博客 149

概率、插座与 5000 个爱因斯坦:专访阿里云研发副总裁周琦

这次访谈发生在 2026 年云栖大会之后。大会期间,阿里云发布了智能体构建和治理平台 AgentCore,将企业级 Agent 基础设施进一步标准化和托管化。

阿里巴巴云原生的博客 157

Agent 数据飞轮平台的选型和实践

用统一标准判断修改效果,积累覆盖不同路径的测试样本,沿执行记录排查失败,并将典型问题纳入后续回归。而这也是宙斯接入 AgentLoop 要解决的问题。

阿里巴巴云原生的博客 35

Durable Agent 详解:如何让 Agent 在云端长期稳定运行

本文使用一个具体的用户任务示例“向五位客户发送通知邮件”,解释为什么保存聊天记录还不够,再以 AgentScope 构建的 Agent 为例,展开任务状态、持久提交和故障恢复的通用设计,最后结合 Alibaba Cloud AgentCore 已有的 Harness 托管与节点恢复能力,讨论共享状态、可靠调度及 Brain / Hands 分离如何支撑更完整的长期托管服务。

阿里巴巴云原生的博客 338

Qoder × AgentLoop:智能体规模化应用,敏感数据保护如何跟上?

智能体观测与优化平台 AgentLoop 持续分析已采集的 Qoder 审计日志,将发现的风险线索关联到具体会话、工具调用、成员和环境,帮助安全团队回查任务过程、明确需要整改的环节,并复查处理效果。

阿里巴巴云原生的博客 298

完整还原已经服务千家企业的 AIOps Agent 的评测和调优实践

阿里云 STAROps 是一个生产运维 Agent,通过连接多域数据、运维工具与专家经验,从被动响应走向智能自治,7×24 保障业务连续、稳定运行。本文将分享 STAROps 的评测和调优实践。

阿里巴巴云原生的博客 202

阿里云云原生四项 AI 应用工程化实荣获“鼎新杯”优秀案例

第五届“鼎新杯”由中国通信标准化协会主办、中国信息通信研究院承办,自2026年05月正式启动,历时近 5 个月,聚焦国内政企数智化转型领域的创新成果,旨在为行业提供可复制、可推广的实践参考。

阿里巴巴云原生的博客 335
上一篇: 从这张年度技术力量榜单里,看见阿里云从云原生到 AI 原生的进化能力和决心
下一篇: AgentScope Java答疑时间:开发者近期最关心的12个问题
阿里云云原生
阿里云云原生 企业官方账号 企业官方账号
博客等级 码龄8年 1万+粉丝 3155原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值