seo - 如何彻底阻止百度对网站的爬行

最新推荐文章于 2021-05-31 12:51:20 发布

最新推荐文章于 2021-05-31 12:51:20 发布 · 154 阅读

本文介绍了一种通过Apache配置文件来限制百度爬虫访问网站的方法，包括设置特定的User-Agent匹配规则，并结合FilesMatch指令实现对百度爬虫的有效屏蔽。

之前是有研究过如何用robots来限制百度对网站的爬行.显然这个是很被动的.而且也麻烦.要定义每个网站的robots.txt.虽然说通过iptables过滤掉百度的ip也可以防止百度的爬行,不过显然,百度有可能会使用不同的ＩＰ来执行爬行.实际上,我们还可以通过apache来进一步限制百度的爬行.

SetEnvIfNoCase user-agent "^baidu" bad_bot=1
<FilesMatch "(.*)">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</FilesMatch>

注：SetEnvIfNoCase需要apache有编译 mod_setenvif模块