使用CDN的User-Agent反爬虫(附User-Agent恶意爬虫名单)

文章介绍了如何通过CDN的User-Agent设置来防止爬虫,以又拍云为例展示了具体操作,并提供了一份恶意爬虫User-Agent名单,强调尊重原创,禁止未经授权的转载。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

我的主博客是可定博客(https://wnag.com.cn/)

原文链接:使用CDN的User-Agent反爬虫(附名单)

这几天发现CDN上的钱去的有点快,后台一查,有爬虫在后台爬了几千次,还是自己不认识的。因此如果你有用CDN的话,可以用CDN的User-Agent反爬虫。

这里以又拍云为例,CDN后台 - 访问控制 - User-Agent防盗链

20200404083757.png

20200404083809.png

20200404083714.png

附下一些恶意爬虫的名单:

*FeedDemon*
*BOT/0.1(BOTforJCE)*
*CrawlDaddy*
*Java*
*Jullo*
*Feedly*
*UniversalFeedParser*
*ApacheBench*
*Swiftbot*
*YandexBot*
*AhrefsBot*
*jikeSpider*
*MJ12bot*
*ZmEuphpmyadmin*
*WinHttp*
*EasouSpider*
*HttpClient*
*MicrosoftURLControl*
*YYSpider*
*jaunty*
*oBot*
*Python-urllib*
*I
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值