【华为云技术分享】云小课 | WAF反爬虫“三板斧”：轻松应对网站恶意爬虫

最新推荐文章于 2025-12-17 20:00:56 发布

原创最新推荐文章于 2025-12-17 20:00:56 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#华为云 #爬虫

华为云WAF提供全面的反爬虫解决方案，包括识别User-Agent、检查浏览器合法性及限制访问频率，有效抵御恶意爬虫，保障Web服务安全。

反爬虫是一个复杂的过程，针对爬虫常见的行为特征，WAF反爬虫三板斧——Robot检测(识别User-Agent)、网站反爬虫(检查浏览器合法性)和CC攻击防护(限制访问频率)可以全方位帮您解决业务网站遭受的爬虫问题，协助您打赢与爬虫的持久战！华为云Web应用防火墙(Web Application Firewall，WAF)通过对HTTP(S)请求进行检测，可以识别并阻断恶意爬虫扫描，让您的Web服务免受爬虫攻击，保护您的Web服务安全。

网络爬虫(Web Crawler)，又称网络蜘蛛(Web Spider)或网络机器人(Web Robot)，是一种按照一定的规则，自动获取网页内容并可以按照指定规则提取相应内容的程序或脚本，已被广泛应用于互联网搜索领域。

网络爬虫为网络信息收集与查询提供了极大的便利，但同时也对网络安全产生以下负面影响：

https://bbs-img.huaweicloud.com/blogs/img/1587365426952067850.png

网络爬虫会根据特定策略尽可能多的“爬过”网站中的高价值信息，占用服务器带宽，增加服务器的负载。

https://bbs-img.huaweicloud.com/blogs/img/1587365432188045158.png

恶意用户利用网络爬虫对 Web 服务发动 DoS 攻击，可能使 Web 服务资源耗尽而不能提供正常服务。

https://bbs-img.huaweicloud.com/blogs/img/1587365460794036521.png

恶意用户利用网络爬虫抓取各种敏感信息，造成网站的核心数据被窃取，损害企业经济利益。

如果您的网站正在遭受爬虫侵扰，千万不要忍耐，是时候和爬虫来一场大战了！

华为云Web应用防火墙(Web Application Firewall，WAF)通过对HTTP(S)请求进行检测，可以识别并阻断恶意爬虫扫描，让您的Web服务免受爬虫攻击，保护您的Web服务安全。只要您有域名，不管您的业务部署在云上还是云下，WAF都可以为您的业务保驾护航。

https://bbs-img.huaweicloud.com/blogs/img/1587365482695012146.png

使用 WAF 前，您需要购买 WAF ：戳这里

https://bbs-img.huaweicloud.com/blogs/img/1587365501720082558.png

，并将您的防护域名接入 WAF ：戳这里。

反爬虫是一个复杂的过程，针对爬虫常见的行为特征，WAF反爬虫三板斧——Robot检测(识别User-Agent)、网站反爬虫(检查浏览器合法性)和CC攻击防护(限制访问频率)可以全方位帮您解决业务网站遭受的爬虫问题，协助您打赢与爬虫的持久战！

还等什么，还不赶快把WAF反爬虫三板斧耍起！

WAF反爬虫三板斧神器来了

一板斧：开启Robot检测

检测和拦截恶意爬虫、扫描器、网马等威胁。

步骤1 ：进入“域名配置”界面，在目标域名所在行的“防护策略”栏中，单击“配置防护策略”，进入防护配置页面。

步骤2 ：在“Web基础防护”配置框，开启Web基础防护后，单击“高级设置”。

步骤3 ：在Web基础防护设置页面，开启Robot检测开关。

当WAF检测到恶意爬虫、扫描器等对网站进行爬取时，将立即拦截并记录该事件，您可以在“防护事件”页面查看爬虫防护日志。

----结束

二板斧：开启网站反爬虫

动态分析网站业务模型，结合人机识别技术和数据风控手段，精准识别爬虫行为。

https://bbs-img.huaweicloud.com/blogs/img/1587365637640056944.png

该功能依赖浏览器对 javascript 代码的解析，因此如果业务接口存在 API 调用的情况，建议不要开启该防护功能。由于 CDN 服务会缓存图片、静态资源等文件，如果您的业务接入了 CDN 服务，该特性将无法达到预期效果，并且有可能造成页面访问异常，建议不要开启该防护功能。

步骤1 ：进入“域名配置”界面，在目标域名所在行的“防护策略”栏中，单击“配置防护策略”，进入防护配置页面。

步骤2 ：在“网站反爬虫”配置框，开启防护。

开启该防护后，非浏览器的访问将不能获取业务页面。

----结束

三板斧：开启CC攻击防护

限制单个IP/Cookie/Referer访问者对您的网站上特定路径(URL)的访问频率，缓解CC攻击对业务的影响。

步骤1 ：进入“域名配置”界面，在目标域名所在行的“防护策略”栏中，单击“配置防护策略”，进入防护配置页面。

步骤2 ：在“CC攻击防护”配置框，开启防护后，单击“自定义CC攻击防护规则”。

步骤3 ：在“CC防护”规则配置页面左上角，单击“添加规则”。以IP限速为例，添加IP限速规则。

设置成功后，当用户访问超过限制后需要输入验证码才能继续访问。

----结束

WAF除了反爬虫，还提供了网页防篡改、防敏感信息泄露、精准访问防护(这里的超链接：https://support.huaweicloud.com/usermanual-waf/waf_01_0010.html?utm_source=优快云&utm_medium=ruanwen&utm_campaign=wafhelp&utm_content=yunxiaoke&utm_term=SEC-002)等防护功能，让您轻松应对各种Web安全风险~~

更多关于WAF的功能，戳这里