Nutch和Heritrix的区别汇总

一、框架介绍

        如果某个项目要用到全文检索，检索对象是一些网站的网页内容，要使用到网络爬虫工具。

 

        目前技术选型对象主要有两个： Heritrix 和 Nutch。二者均为Java开源框架， Heritrix 是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们都称作网络爬虫/蜘蛛（  Web Crawler），它们实现的原理基本一致：深度遍历网站的资源，将这些资源抓取到本地，使用的方法都是分析网站每一个有效的URI，并提交Http请求，从而获得相应结果，生成本地文件及相应的日志信息等。

 

        下面是两者的简单介绍，摘自网络:

Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒，不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整，允许弹性的定义要获取的URL。

Nutch：

(1)Nutch 只获取并保存可索引的内容。 Heritrix 则是照单全收。力求保存页面原貌，导致了很多无用的数据结果。

(2)Nutch 可以修剪内容，或者对内容格式进行转换。

(3)Nutch 保存内容为数据库优化格式便于以后索引；刷新替换旧的内容。而 Heritrix  是添加(追加)新的内容。

(4)Nutch 从命令行运行、控制。 Heritrix  有 Web 控制管理界面。

(5)Nutch 的定制能力不够强，不过现在已经有了一定改进。 Heritrix  可控制的参数更多。

二、关于Heritrix使用的初步总结

 

目前对Heritrix做了初步选型测试，有了一些总结，对于使用Heritrix抓取网页有两种方法，一种方法是直接安装，如下步骤，一种方法是在Eclipse中进行部署，运行测试抓取网页具体配置参考网址: http://www.ibm.com/developerworks/cn/opensource/os-cn-heritrix/

安装步骤（参考:http://www.opendigest.org/article.php/770）

  1.关于安装：

      目前的版本号为1.12.1，官网地址为  http://crawler.archive.org/ 。常规安装，即解压到相关目录，之后配置系统环境变量" HERITRIX _HOME"到该解压目录（Java环境已经配置好）。

  2.安装的后续工作：

     将 % HERITRIX _HOME%\ heritrix -1.12.1.jar 解压到临时目录，拷贝其中的profiles目录到 % HERITRIX _HOME%\conf\目录下，用来解决 Heritrix 关于的Profile默认配置的一个Bug。

3.配置管理帐户：

      拷贝 %HERITRIX_HOME%\conf\jmxremote.password.template 到 %HERITRIX_HOME%\下，并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分：

      monitorRole  @PASSWORD@         monitorRole  admin
      controlRole  @PASSWORD@  ==>  controlRole  admin

      修改完毕之后，保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步：在该文件jmxremote.password的属性窗口中查看“安全”标签，该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户，而不应该是某一个用户组（例如Administrators），这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误，需要你修改jmxremote.password文件的属性为“只读”，但是其实已经做了该项改动。

  4.运行 Heritrix ：

      CMD定位到 %HERITRIX_HOME%\bin，执行 "heritrix --admin=admin:admin" 命令，即可启动 heritrix，有一点需要注意，heritrix默认使用8080端口，要保证系统端口没有冲突。之后便可以访问 http://127.0.0.1:8080 使用 heritrix 提供的WUI，即Web管理端。并且使用"admin/admin"登录。

      该管理端提供了Heritrix默认提供的所有配置功能，并且可以创建一个Job并且执行该Job抓取网站。

5.一个简单的Job:

      Heritrix提供的配置功能非常丰富，但是也很复杂，刚开始的时候很难正确的创建并且执行一个Job去抓取网站，自己阅读了大部分的Heritrix用户文档和多次尝试之后，总结了一个简单的创建执行Job的用例，该用例为抓取www.baidu.com下的网页，但子域（如 news.baidu.com）不抓取，步骤如下，可供参考：

(1) WUI的上边的导航栏选择"Jobs"，呈现的第一项是"Create New Job"，选择第四小项"With defaults"。输入项的前两项

     Name和Description随意，Seeds非常重要： http://www.baidu.com/ 注意最后一个反斜杠必须。

 

(2) 选择下边的"Modules"，进入Module配置页（ Heritrix的扩展功能都是通过模块概念实现的，可以实现自己的模块完成自己

     想要的功能）。其中第一项 " Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"

     。倒数第三项 " Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ，后添加

     "org.archive.crawler.writer.MirrorWriterProcessor"，这样执行任务的时候抓取到的页面会以镜像的方式放在本地的

     目录结构中，而不是生成ARC存档文件。

 

(3) 选择"Modules"右边的"Submodules"，在第一项内容中 " crawl-order -> scope-> decide-rules-> rules" 删除掉其

     中的 "acceptIfTranscluded" ( org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的

     规则。否则当Http请求返回301或者302时 Heritrix会去抓取其他域下的网页。 

 

(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面，其中主要修改两项： http-headers 下的user-agent 和

     from，他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容

    （"PROJECT_URL_HERE" 要以 "http://" 开头）

 

(5) 在WUI的第二行导航栏中选择最右边的"Submit job"

 

(6) 在WUI的第一行导航栏中选择第一项的"Console"，点击"Start"，抓取任务正式开始，时间长短有网络状况和所抓取网站的

     深度有关。

     按照如上步骤应该可以正确的执行一次网站的抓取任务，抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到，都有详细的说明。

三、 Heritrix详细介绍

        Heritrix主要有三大部件：范围部件，边界部件，处理器链 
        范围部件： 主要按照规则决定将哪个URI入队。 
        边界部件： 跟踪哪个预定的URI将被收集，和已经被收集的URI，选择下一个 URI，剔除已经处理过的URI。 
        处理器链： 包含若干处理器获取URI，分析结果，将它们传回给边界部件 
Heritrix的其余部件有： 
WEB管理控制台： 大多数都是单机的WEB应用，内嵌JAVA HTTP 服务器。 操作者可以通过选择Crawler命令来操作控制台。 
Crawler命令处理部件： 包含足够的信息创建要爬的URI。 
Servercache（处理器缓存）： 存放服务器的持久信息，能够被爬行部件随时查到，包括IP地址，历史记录，机器人策略。 
        处理器链： 
预取链： 主要是做一些准备工作，例如，对处理进行延迟和重新处理，否决随后的操作。 
提取链： 主要是获得资源，进行DNS转换，填写请求和响应表单 
抽取链： 当提取完成时，抽取感兴趣的HTML，JavaScript，通常那里有新的也适合的URI，此时URI仅仅被发现，不会被评估 
写链： 存储爬行结果，返回内容和抽取特性，过滤完存储。 
提交链： 做最后的维护，例如，测试那些不在范围内的，提交给边 界部件 
   Heritrix 1.0.0包含以下关键特性：

1. 用单个爬虫在多个独立的站点一直不断的进行递归的爬。
2. 从一个提供的种子进行爬，收集站点内的精确URI，和精确主机。
3. 主要是用广度优先算法进行处理。（http://www.my400800.cn ）
4. 主要部件都是高效的可扩展的

   良好的配置，包括：

1. 可设置输出日志，归档文件和临时文件的位置
2. 可设置下载的最大字节，最大数量的下载文档，和最大的下载时间。
3. 可设置工作线程数量。
4. 可设置所利用的带宽的上界。
5. 可在设置之后一定时间重新选择。
6. 包含一些可设置的过滤机制，表达方式，URI路径深度选 择等等。

Heritrix的局限

1. 单实例的爬虫，之间不能进行合作。
2. 在有限的机器资源的情况下，却要复杂的操作。
3. 只有官方支持，仅仅在Linux上进行了测试。
4. 每个爬虫是单独进行工作的，没有对更新进行修订。
5. 在硬件和系统失败时，恢复能力很差。
6. 很少的时间用来优化性能。

四、 Heritrix爬虫设置

爬虫信息 
爬虫名称： Heritrix 
爬行强度： 低 
HTTP User Agent： 
Mozilla/5.0 (compatible; heritrix/1.14.4 +http://wwwxmlweb.com.cn /) 
来访IP：127.0.0.1(本地测试，无固定ip)

对Heritrix爬虫进行控制 
Heritrix被设计成严格遵循robots.txt文件的排除指示和META robots标签。 

邀请Heritrix来访 
如果你在在robots.txt中限制了部分爬虫，那么你可能需要在robots.txt中增加下述内容： 
User-agent: Heritrix Disallow: 

禁止Heritrix访问 
如果你不希望Heritrix爬虫占用服务器资源，可以这样封锁它： 
User-agent: Heritrix 
Disallow: / 

如果你仅仅不希望Heritrix爬行某些目录，则可以这样： 
User-agent: Heritrix 
Disallow: /somedir/ 

五    Nutch 架构

六    Nutch 的架构示意图

 
  

 

下面是Nucth的运行流程图：

其中nutch的抓取模块在编制索引保存到索引库之后就算完成。

另外一个图，可能需要在熟悉nutch之后才能看懂：

 

 首先理解nutch的三个数据目录：

1.crawdb ,linkdb 是web link目录，存放url 及url的互联关系，作为爬行与重新爬行的依据，页面默认30天过期。

2.segments 是主目录，存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行，因此每爬完一轮会生成一个segment目录。

3.index 是lucene的索引目录，是indexs里所有index合并后的完整索引，注意索引文件只对页面内容进行索引，没有进行存储，因此查询时要去访问segments目录才能获得页面内容。

其中nutch的抓取模块在编制索引保存到索引库之后就算完成。

另外一个图，可能需要在熟悉nutch之后才能看懂：

 

 

 

 三个目录

首先理解nutch的三个数据目录：

1.crawdb ,linkdb 是web link目录，存放url 及url的互联关系，作为爬行与重新爬行的依据，页面默认30天过期。

2.segments 是主目录，存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行，因此每爬完一轮会生成一个segment目录。

3.index 是lucene的索引目录，是indexs里所有index合并后的完整索引，注意索引文件只对页面内容进行索引，没有进行存储，因此查询时要去访问segments目录才能获得页面内容。