本文介绍了一种通过Apache配置文件来限制百度爬虫访问网站的方法，包括设置特定的User-Agent匹配规则，并结合FilesMatch指令实现对百度爬虫的有效屏蔽。
之前是有研究过如何用robots来限制百度对网站的爬行.显然这个是很被动的.而且也麻烦.要定义每个网站的robots.txt.虽然说通过iptables过滤掉百度的ip也可以防止百度的爬行,不过显然,百度有可能会使用不同的ＩＰ来执行爬行.实际上,我们还可以通过apache来进一步限制百度的爬行.
SetEnvIfNoCase user-agent "^baidu" bad_bot=1
<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>
注：SetEnvIfNoCase需要apache有编译 mod_setenvif模块
seo - 如何彻底阻止百度对网站的爬行
最新推荐文章于 2021-05-31 12:51:20 发布
扫一扫
5428
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
