本期是一个经典的企业网故障案例。
【背景介绍】
客户企业是一家500左右规模的零售行业公司,公司网络做的是经典三层网络架构,大致拓扑如下图所示:

备注:为便于案例分析此处简化了拓扑结构。实际企业网中核心堆叠交换机上配置了数十个VLAN。
整体规划如下:
-
不同的业务做到不同的VLAN里面,整网链路为千兆网线传输;
-
整套路由交换网络设备为H3C,出口路由对所有子网做NAPT实现上网需求。
【问题描述】
客近期公司网管发现H3C出口路由的CPU经常飙高到90%以上,同时下面的终端上网都出现了卡顿、延时等问题,并且访问路由web页面、命令输入也都很卡。但过了几分钟就会自动恢复!

表现相当显性,伴随着路由器CPU的飙高导致其转发性能出现了问题,从而致使下挂终端上网卡顿和延时,那么本次案例的重点就是要找到路由CPU飙高的具体原因并解决,且非常难的点是:必须要在异常的几分钟内找到问题点才行,否则恢复了就很难排查了!
【排查分析】
第一步:确认问题现象
CPU常用诊断命令如下:
[H3C]display cpu-usage //显示CPU利用率的统计信息,用于查询CPU占用率高的任务[H3C]display cpu-usage history //以图形方式显示CPU利用率统计历史信息
现场问题复现时通过上述命令,确认能看到出口路由的CPU有出现飙高

并且访问外网相当卡顿和丢包:

第二步:列出CPU飙高常见原因并推测
这里我给两张HUAWEI和H3C对于CPU飙高排障的标准流程图,大家可以参考一下:
【HUAWEI】

【H3C】

【原因总结】
原因1:大量报文上送CPU。主要有两种表现:
-
-
二层环路风暴:导致端口带宽满载,地址表被破坏;
-
组播/广播泛洪:如DHCP、ARP等报文量过大流进CPU,也会导致CPU性能下降。
-
原因2:路由拓扑状态频繁震荡。常见的有:
-
-
STP拓扑震荡:TC-BPDU报文频繁刷新导致STP拓扑震荡变化,会影响CPU性能;
-
OSPF协议震荡:OSPF邻居状态震荡、拓扑频繁变化也会影响设备CPU性能。
-
原因3:配置太多
-
-
比如做了各种策略、开了各种日志打印、行为管控等功能
-
以上3个原因适用于极大多数场景判断网络设备CPU飙高问题,尤其是第一条!
第三步:逐条检测CPU飙高可能性
原因1:大量报文上送CPU。主要有两种表现:
-
二层环路风暴:导致端口带宽满载,地址表被破坏;
-
组播/广播泛洪:如DHCP、ARP等报文量过大流进CPU,也会导致CPU性能下降。

排查诊断:如上拓扑,因为路由器仅G0/0/0和G0/0/1口在用,看下是否有广播风暴或者广播&组播泛洪流进路由器CPU,我们只需要看这两个接口的数据统计即可,分别输入(统计前最好先输入reset counters interface清空接口数据统计):
<H3CROUTER>dis int g0/0/1 //查看WAN数据统计,每隔5s敲一次确认报文变化量

<H3CROUTER>dis int g0/0/0 //查看LAN口数据统计,每隔5s敲一次确认报文变化量

从上图可以看到问题复现时,路由的GE0/0/0和GE0/0/1接口的组播&广播报文在5秒内增长是非常缓慢的,基本排除了可能存在的二层环路以及报文泛洪的问题。
原因2:路由拓扑状态频繁震荡。常见的有:
-
STP拓扑震荡:TC-BPDU报文频繁刷新导致STP拓扑震荡变化,会影响CPU性能;
-
OSPF协议震荡:OSPF邻居状态震荡、拓扑频繁变化也会影响设备CPU性能。
排查诊断:整网路由、交换机拓扑很简单,均未启用STP和OSPF功能,不存在此原因。
原因3:路由器的配置太多,比如做了各种策略、开了各种日志打印、行为管控等功能
排查诊断:路由器典型配置如下:
-
GE0/0/1作为WAN口连接光猫拨号上网
-
使能NAPT功能,源地址范围172.16.0.0/16,出接口为GE0/0/1
-
做了VLAN20/30/40子网回程静态路由

典型的最基本上网配置,其他没有了。故不存在特殊配置消耗CPU性能的问题。难道是路由器设备故障了?我们接下来继续做测试。
第四步:确认路由器是否故障
通过第三步排查,导致路由器常见CPU飙高的常见原因逐个排除了,那会还是什么问题呢?不会是路由器坏掉了吧?于是我们进一步做了单机空载测试,拔掉路由器的内网LAN口(即G0/0/0口)直连PC:

惊奇的发现路由器的CPU迅速降下来了,并且上网根本不卡!


说明路由器设备无故障,此问题还是跟核心交换机接入路由有关了!那么直接在H3C路由器LAN口(G0/0/0)抓数据流。
第五步:内网主干路数据流分析
我们在核心交换机上做镜像抓取上联出口路由接口的流:

抓包如下:

从这条流分析如下:
-
该流为源VLAN20访问目的VLAN40的UDP流,据统计这些流吞吐量高达1Gbps,它是占满千兆链路带宽的主要原因,也是路由器收发包满载导致CPU持续高位的主要原因;
-
VLAN2访问VLAN40的流就不应该出现在核心交换与路由之间,这个数据包会由核心交换机直接转发给了VLAN40的设备。
那么这条“异常流”为何会出现在核心交换与路由之间并且泛洪的呢?我们来看下数据包MAC地址对比一下:
-
按照时序看第一个:

-
按照时序看第二个:

分析得出:这个UDP包在交换机和路由器之间互转循环,即:SW—>R—>SW—>R。。。。一直循环到TTL=0然后才丢掉UDP包!

得出结论:路由器和交换机之间发生了路由环路,目的网段是VLAN40。那么也就是说,核心交换机失去了VLAN40的直连路由走全0路由转发了!意味着VLAN40接口可能发生了故障。
第六步:确认核心交换机路由信息
-
查看核心交换机[HXSW]路由表:

-
查看出口路由器[H3CROUTER]路由表:

-
确实存在路由环路,造成环路的原因是核心交换机VLAN40故障无路由,再查看其VLANIF40和对应的物理接口状态:


核心交换机上VLAN40所属的物理接口GE0/0/4状态为DOWN,所以VLANIF40消失了故没有生成对应的直连路由!
第七步:问题排查总结

通过现场诊断判断核心交换机连接VLAN40的汇聚交换机线路质量差、接触不良,偶然出现状态down;当物理链路down时会导致核心VLANIF40接口down掉,故而导致VLAN40路由条目消失出现三层环路报文泛洪。
【案例小结】
在三层组网应用中,三层路由环路是一种容易被忽略的网络故障,因为它在物理连线上没有成环,只是逻辑转发上形成了环路。有人会问两个问题:
问题1:为什么GE0/0/4接口故障了没人发现呢?

Re:原因是因为VLAN40是监控业务,它只需要VLAN40内部IPC、NVR互通就行,监控都在保安室里看着,没人会跨三层去访问这些监控设备,所以基本是无感知的。
问题2:既然VLAN40没人去访问,为什么会有VLAN20访问VLAN40的UDP数据从而导致单播包环路?
Re:这是一个偶然的现象,VLAN20内的电脑无意间的ping测试、UDP往VLAN40探测的行为是不可控的,一旦有就会单播环路泛洪,凡事不要那么绝对。
这两年,IT行业面临经济周期波动与AI产业结构调整的双重压力,确实有很多运维与网络工程师因企业缩编或技术迭代而暂时失业。
很多人都在提运维网工失业后就只能去跑滴滴送外卖了,但我想分享的是,对于运维人员来说,即便失业以后仍然有很多副业可以尝试。
运维网工,千万不要再错过这些副业机会!
第一个是知识付费类副业:输出经验打造个人IP
在线教育平台讲师
操作路径:在慕课网、极客时间等平台开设《CCNA实战》《Linux运维从入门到精通》等课程,或与培训机构合作录制专题课。
收益模式:课程销售分成、企业内训。
技术博客与公众号运营
操作路径:撰写网络协议解析、故障排查案例、设备评测等深度文章,通过公众号广告、付费专栏及企业合作变现。
收益关键:每周更新2-3篇原创,结合SEO优化与社群运营。
第二个是技术类副业:深耕专业领域变现
企业网络设备配置与优化服务
操作路径:为中小型企业提供路由器、交换机、防火墙等设备的配置调试、性能优化及故障排查服务。可通过本地IT服务公司合作或自建线上接单平台获客。
收益模式:按项目收费或签订年度维护合同。
远程IT基础设施代维
操作路径:通过承接服务器监控、日志分析、备份恢复等远程代维任务。适合熟悉Zabbix、ELK等技术栈的工程师。
收益模式:按工时计费或包月服务。
网络安全顾问与渗透测试
操作路径:利用OWASP Top 10漏洞分析、Nmap/BurpSuite等工具,为企业提供漏洞扫描、渗透测试及安全加固方案。需考取CISP等认证提升资质。
收益模式:单次渗透测试报告收费;长期安全顾问年费。
比如不久前跟我一起聊天的一个粉丝,他自己之前是大四实习的时候做的运维,发现运维7*24小时待命受不了,就准备转网安,学了差不多2个月,然后开始挖漏洞,光是补天的漏洞奖励也有个四五千,他说自己每个月的房租和饭钱就够了。

为什么我会推荐你网安是运维和网工人员的绝佳副业&转型方向?
1.你的经验是巨大优势: 你比任何人都懂系统、网络和架构。漏洞挖掘、内网渗透、应急响应,这些核心安全能力本质上是“攻击视角下的运维”。你的运维背景不是从零开始,而是降维打击。
2.越老越吃香,规避年龄危机: 安全行业极度依赖经验。你的排查思路、风险意识和对复杂系统的理解能力,会随着项目积累而愈发珍贵,真正做到“姜还是老的辣”。
3.职业选择极其灵活: 你可以加入企业成为安全专家,可以兼职“挖洞“获取丰厚奖金,甚至可以成为自由顾问。这种多样性为你提供了前所未有的抗风险能力。
4.市场需求爆发,前景广阔: 在国家级政策的推动下,从一线城市到二三线地区,安全人才缺口正在急剧扩大。现在布局,正是抢占未来先机的黄金时刻。


1. 阶段目标
你已经有运维经验了,所以操作系统、网络协议这些你不是零基础。但要学安全,得重新过一遍——只不过这次我们是带着“安全视角”去学。
2. 学习内容
**操作系统强化:**你需要重点学习 Windows、Linux 操作系统安全配置,对比运维工作中常规配置与安全配置的差异,深化系统安全认知(比如说日志审计配置,为应急响应日志分析打基础)。
**网络协议深化:**结合过往网络协议应用经验,聚焦 TCP/IP 协议簇中的安全漏洞及防护机制,如 ARP 欺骗、TCP 三次握手漏洞等(为 SRC 漏扫中协议层漏洞识别铺垫)。
**Web 与数据库基础:**补充 Web 架构、HTTP 协议及 MySQL、SQL Server 等数据库安全相关知识,了解 Web 应用与数据库在网安中的作用。
**编程语言入门:**学习 Python 基础语法,掌握简单脚本编写,为后续 SRC 漏扫自动化脚本开发及应急响应工具使用打基础。
**工具实战:**集中训练抓包工具(Wireshark)、渗透测试工具(Nmap)、漏洞扫描工具(Nessus 基础版)的使用,结合模拟场景练习工具应用(掌握基础扫描逻辑,为 SRC 漏扫工具进阶做准备)。
1. 阶段目标
这阶段是真正开始“动手”了。信息收集、漏洞分析、工具联动,一样不能少。
熟练运用漏洞挖掘及 SRC 漏扫工具,具备独立挖掘常见漏洞及 SRC 平台漏扫实战能力,尝试通过 SRC 挖洞搞钱,不管是低危漏洞还是高危漏洞,先挖到一个。
2. 学习内容
信息收集实战:结合运维中对网络拓扑、设备信息的了解,强化基本信息收集、网络空间搜索引擎(Shodan、ZoomEye)、域名及端口信息收集技巧,针对企业级网络场景开展信息收集练习(为 SRC 漏扫目标筛选提供支撑)。
漏洞原理与分析:深入学习 SQL 注入、CSRF、文件上传等常见漏洞的原理、危害及利用方法,结合运维工作中遇到的类似问题进行关联分析(明确 SRC 漏扫重点漏洞类型)。
工具进阶与 SRC 漏扫应用:
-
系统学习 SQLMap、BurpSuite、AWVS 等工具的高级功能,开展工具联用实战训练;
-
专项学习 SRC 漏扫流程:包括 SRC 平台规则解读(如漏洞提交规范、奖励机制)、漏扫目标范围界定、漏扫策略制定(全量扫描 vs 定向扫描)、漏扫结果验证与复现;
-
实战训练:使用 AWVS+BurpSuite 组合开展 SRC 平台目标漏扫,练习 “扫描 - 验证 - 漏洞报告撰写 - 平台提交” 全流程。
SRC 实战演练:选择合适的 SRC 平台(如补天、CNVD)进行漏洞挖掘与漏扫实战,积累实战经验,尝试获取挖洞收益。
恭喜你,如果学到这里,你基本可以下班搞搞副业创收了,并且具备渗透测试工程师必备的「渗透技巧」、「溯源能力」,让你在黑客盛行的年代别背锅,工作实现升职加薪的同时也能开创副业创收!
如果你想要入坑黑客&网络安全,笔者给大家准备了一份:全网最全的网络安全资料包需要保存下方图片,微信扫码即可前往获取!
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
1. 阶段目标
全面掌握渗透测试理论与实战技能,能够独立完成渗透测试项目,编写规范的渗透测试报告,具备渗透测试工程师岗位能力,为护网红蓝对抗及应急响应提供技术支撑。
2. 学习内容
渗透测试核心理论:系统学习渗透测试流程、方法论及法律法规知识,明确渗透测试边界与规范(与红蓝对抗攻击边界要求一致)。
实战技能训练:开展漏洞扫描、漏洞利用、电商系统渗透测试、内网渗透、权限提升(Windows、Linux)、代码审计等实战训练,结合运维中熟悉的系统环境设计测试场景(强化红蓝对抗攻击端技术能力)。
工具开发实践:基于 Python 编程基础,学习渗透测试工具开发技巧,开发简单的自动化测试脚本(可拓展用于 SRC 漏扫自动化及应急响应辅助工具)。
报告编写指导:学习渗透测试报告的结构与编写规范,完成多个不同场景的渗透测试报告撰写练习(与 SRC 漏洞报告、应急响应报告撰写逻辑互通)。
1. 阶段目标
掌握企业级安全攻防、护网红蓝对抗及应急响应核心技能,考取网安行业相关证书。
2. 学习内容
护网红蓝对抗专项:
-
红蓝对抗基础:学习护网行动背景、红蓝对抗规则(攻击范围、禁止行为)、红蓝双方角色职责(红队:模拟攻击;蓝队:防御检测与应急处置);
-
红队实战技能:强化内网渗透、横向移动、权限维持、免杀攻击等高级技巧,模拟护网中常见攻击场景;
-
蓝队实战技能:学习安全设备(防火墙、IDS/IPS、WAF)联动防御配置、安全监控平台(SOC)使用、攻击行为研判与溯源方法;
-
模拟护网演练:参与团队式红蓝对抗演练,完整体验 “攻击 - 检测 - 防御 - 处置” 全流程。
应急响应专项: -
应急响应流程:学习应急响应 6 步流程(准备 - 检测 - 遏制 - 根除 - 恢复 - 总结),掌握各环节核心任务;
-
实战技能:开展操作系统入侵响应(如病毒木马清除、异常进程终止)、数据泄露应急处置、漏洞应急修补等实战训练;
-
工具应用:学习应急响应工具(如 Autoruns、Process Monitor、病毒分析工具)的使用,提升处置效率;
-
案例复盘:分析真实网络安全事件应急响应案例(如勒索病毒事件),总结处置经验。
其他企业级攻防技能:学习社工与钓鱼、CTF 夺旗赛解析等内容,结合运维中企业安全防护需求深化理解。
证书备考:针对网安行业相关证书考试内容(含红蓝对抗、应急响应考点)进行专项复习,参加模拟考试,查漏补缺。
网络安全这行,不是会几个工具就能搞定的。你得有体系,懂原理,能实战。尤其是从运维转过来的,别浪费你原来的经验——你比纯新人强多了。
但也要沉得住气,别学了两天Web安全就觉得自己是黑客了。内网、域渗透、代码审计、应急响应,要学的还多着呢。
如果你真的想转,按这个路子一步步走,没问题。如果你只是好奇,我劝你再想想——这行要持续学习,挺累的,但也是真有意思。
关于如何学习网络安全,笔者也给大家整理好了全套网络安全知识库,需要的可以扫码获取!
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
1、网络安全意识

2、Linux操作系统

3、WEB架构基础与HTTP协议

4、Web渗透测试

5、渗透测试案例分享

6、渗透测试实战技巧

7、攻防对战实战

8、CTF之MISC实战讲解

关于如何学习网络安全,笔者也给大家整理好了全套网络安全知识库,需要的可以扫码获取!
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取
网工转安全:故障排查与副业指南

1002

被折叠的 条评论
为什么被折叠?



