Nutch1.7学习笔记7：Robots协议处理流程

最新推荐文章于 2024-09-15 09:04:38 发布

原创最新推荐文章于 2024-09-15 09:04:38 发布 · 3.6k 阅读

1 ·

CC 4.0 BY-SA版权

5. 大数据专栏收录该内容

43 篇文章

订阅专栏

本文详细介绍了Nutch1.7如何处理Robots协议，包括其处理流程、入口点、缓存机制及获取和解析Robots.txt文件的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Nutch1.7学习笔记7：Robots协议处理流程

作者：雨水，时间：2013-12-1博客地址：http://blog.youkuaiyun.com/gobitan

说明：通常来说，网络爬虫应该遵循网站所描述的robots协议。因此，任何网络爬虫都有关于robots协议部分的处理。

分析入口：Robot相关处理的入口位于Fetcher.java的L676，如下所示：

BaseRobotRules rules = protocol.getRobotRules(fit.url, fit.datum);

Fetcher抓取每个URL之前都会先查看系统之前是否已经获取了URL所对应的robots协议，如果已经获取了，则检查该URL是否符合robots协议的规则，如果不符合，则会跳过该URL不抓取。如下：

if(!rules.isAllowed(fit.u.toString())) {

// unblock

fetchQueues.finishFetchItem(fit,true);

if (LOG.isDebugEnabled()) {

LOG.debug("Denied byrobots.txt: " + fit.url);

}

output(fit.url, fit.datum, null, ProtocolStatus.STATUS_ROBOTS_DENIED, CrawlDatum.STATUS_FETCH_GONE);

reporter.incrCounter("FetcherStatus", "robots_denied", 1);

continue;

}

getRobotRules的过程如下：

网站所对应的Robot规则放在Hashtable<String,BaseRobotRules>缓存里，其中String键为协议和子域名的组合，BaseRobotRules值为该URL所对应的Robot规则。如当爬取http://www.apache.org/时，String的值就为http:www.apache.org。

如果是第一次访问这个域名时，那么通过该URL获取出来就是空null，此时将以该URL为基础生成一个获取robot的URL，如http://www.apache.org/robots.txt 。然后发送HTTP请求获取该robot协议并调用RobotRulesParser.parseRules来解析。解析成功后，就将其放入HashTable的缓存中。解析Robot协议的代码是引用的一个叫crawler-commons的第三方库，该库也是开源的，可以在https://code.google.com/p/crawler-commons/找到。Nutch1.7使用的是crawler-commons-0.2版本。

如果没有找到该robots.txt，那么系统将用默认的空规则，也就是允许抓取所有的页面。同时也将其作为该URL对应的规则放入HashTable缓存，这样下次访问该子域名的时候不用重复获取Robot规则，直接取出来进行判断即可。