让Apache拒绝网络流氓蜘蛛

关注

原创最新推荐文章于 2026-05-01 09:51:48 发布 2.6k 阅读 AI 写同款· GEO 优化 ›

robots.txt文件详解 robots.txt是一个用于告诉网络爬虫（也称为搜索引擎蜘蛛）哪些页面可以抓取，哪些页面不可以抓取的文本文件。它通常放置在网站的根目录下，命名为"robots.txt"。这个文件可以限制搜索引擎蜘蛛访问网站的部分或全部内容，以保护网站的隐私和安全。robots.txt文件的起源可以追溯到早期的网络爬虫，这些爬虫在访问网站时会遵循一定的规则。为了阻止不受欢迎的爬虫访问，网站管理员会在网站的根目录下创建一个名为"robots.txt"的文件，并在其中列出不希望被爬取的目录和文件。阅读详情

一旦网站对外开放，并登陆到搜索引擎中，网络蜘蛛会定期来光顾采集。当一个网络蜘蛛(有的叫搜索机器人)访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则。但这是只防君子不防小人，碰到网路坏爬虫就没辙了，有些搜寻引擎的 robot 根本不看网站的robots.txt，就一路抓下去，实在另人发指.

目前的网络蜘蛛大致分为4种：
1 真名真姓，遵循robots.txt 协议。
2 真名真姓，不遵循robots.txt协议。
3 匿名，不遵循robots.txt协议。
4 伪装：不遵循robots.txt协议。

网路坏爬虫就是这些不遵守游戏规则，到处乱抓别人网站的内容的坏蛋。这样会造成网站运行压力的增大和流量增加，也就是费用的增加，或是不想被公开的资料也被抓取了,侵犯网站的隐私.

例如：

iaskspider 是"爱问"属於新浪网的 robot，完全不管 robots.txt

QihooBot，也是来自"奇虎网",浪费带宽

另有 larbin，iearthworm，yodaoice，lanshanbot，Outfoxbot 等等.

碰到这种网路坏爬虫，只能想法阻挡它。Apache就可以挡住特定IP，但因為 robots大多有多个IP，过滤爬虫名字还是比较有效的，可以用BrowserMatchNoCase 来过滤.

用法像是：

<directory "/wwwroot">
Order allow,deny
Allow from all
BrowserMatchNoCase "iaskspider" badguy
BrowserMatchNoCase "QihooBot" badguy
BrowserMatchNoCase "larbin" badguy
BrowserMatchNoCase "iearthworm" badguy
BrowserMatchNoCase "Outfoxbot" badguy
BrowserMatchNoCase "lanshanbot" badguy
BrowserMatchNoCase "Arthur" badguy
BrowserMatchNoCase "InfoPath" badguy
BrowserMatchNoCase "DigExt" badguy
BrowserMatchNoCase "Embedded" badguy
BrowserMatchNoCase "EmbeddedWB" badguy
BrowserMatchNoCase "Wget" badguy
BrowserMatchNoCase "CNCDialer" badguy
BrowserMatchNoCase "LWP::Simple" badguy
BrowserMatchNoCase "WPS" badguy
deny from env=badguy
</directory>