使用CDN的User-Agent反爬虫（附User-Agent恶意爬虫名单）

最新推荐文章于 2025-10-21 10:28:31 发布

原创

最新推荐文章于 2025-10-21 10:28:31 发布 · 1.6k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#cdn

文章介绍了如何通过CDN的User-Agent设置来防止爬虫，以又拍云为例展示了具体操作，并提供了一份恶意爬虫User-Agent名单，强调尊重原创，禁止未经授权的转载。

我的主博客是可定博客(https://wnag.com.cn/)

原文链接：使用CDN的User-Agent反爬虫（附名单）

这几天发现CDN上的钱去的有点快，后台一查，有爬虫在后台爬了几千次，还是自己不认识的。因此如果你有用CDN的话，可以用CDN的User-Agent反爬虫。

这里以又拍云为例，CDN后台 - 访问控制 - User-Agent防盗链

附下一些恶意爬虫的名单：

*FeedDemon*
*BOT/0.1(BOTforJCE)*
*CrawlDaddy*
*Java*
*Jullo*
*Feedly*
*UniversalFeedParser*
*ApacheBench*
*Swiftbot*
*YandexBot*
*AhrefsBot*
*jikeSpider*
*MJ12bot*
*ZmEuphpmyadmin*
*WinHttp*
*EasouSpider*
*HttpClient*
*MicrosoftURLControl*
*YYSpider*
*jaunty*
*oBot*
*Python-urllib*
*I