Nutch和Heritrix的区别汇总

本文详细介绍了Heritrix和Nutch两大网络爬虫的主要区别。Heritrix由范围部件、边界部件和处理器链组成,具有强大的配置选项和单一爬虫递归爬取特性。而Nutch以其简单的运行流程,包括crawldb、linkdb和segments目录,以及基于Lucene的索引,以广度优先策略进行爬取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、框架介绍
        如果某个项目要用到全文检索,检索对象是一些网站的网页内容,要使用到网络爬虫工具。
 
        目前技术选型对象主要有两个: Heritrix  Nutch。二者均为Java开源框架, Heritrix 是 SourceForge上的开源产品,Nutch为Apache的一个子项目,它们都称作网络爬虫/蜘蛛(  Web Crawler),它们实现的原理基本一致:深度遍历网站的资源,将这些资源抓取到本地,使用的方法都是分析网站每一个有效的URI,并提交Http请求,从而获得相应结果,生成本地文件及相应的日志信息等。
 
        下面是两者的简单介绍,摘自网络:
Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒,不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整,允许弹性的定义要获取的URL。
Nutch:
(1)Nutch 只获取并保存可索引的内容。 Heritrix 则是照单全收。力求保存页面原貌,导致了很多无用的数据结果。
(2)Nutch 可以修剪内容,或者对内容格式进行转换。
(3)Nutch 保存内容为数据库优化格式便于以后索引;刷新替换旧的内容。而 Heritrix  是添加(追加)新的内容。
(4)Nutch 从命令行运行、控制。 Heritrix  有 Web 控制管理界面。
(5)Nutch 的定制能力不够强,不过现在已经有了一定改进。 Heritrix  可控制的参数更多。
二、关于Heritrix使用的初步总结
 
目前对Heritrix做了初步选型测试,有了一些总结,对于使用Heritrix抓取网页有两种方法,一种方法是直接安装,如下步骤,一种方法是在Eclipse中进行部署,运行测试抓取网页具体配置参考网址: http://www.ibm.com/developerworks/cn/opensource/os-cn-heritrix/

  1.关于安装:
      目前的版本号为1.12.1,官网地址为  http://crawler.archive.org/ 。常规安装,即解压到相关目录,之后配置系统环境变量" HERITRIX _HOME"到该解压目录(Java环境已经配置好)。
  2.安装的后续工作:
     将 % HERITRIX _HOME%\ heritrix -1.12.1.jar 解压到临时目录,拷贝其中的profiles目录到 % HERITRIX _HOME%\conf\目录下,用来解决 Heritrix 关于的Profile默认配置的一个Bug。
3.配置管理帐户:
      拷贝 %HERITRIX_HOME%\conf\jmxremote.password.template 到 %HERITRIX_HOME%\下,并且重命名为"jmxremote.password"。之后编辑该文件内容关于密码的部分:
      monitorRole  @PASSWORD@         monitorRole  admin
      controlRole  @PASSWORD@  ==>  controlRole  admin
      修改完毕之后,保存该文件。并且需要将该文件的属性改为“只读”。然后有很重要的一步:在该文件jmxremote.password的属性窗口中查看“安全”标签,该标签下的第一项“组或用户名称”下要确认该文件的所有权应该只隶属于你当前的系统用户,而不应该是某一个用户组(例如Administrators),这应该是Heritrix安全机制的一个Bug。否则运行Heritrix的时候会报权限错误,需要你修改jmxremote.password文件的属性为“只读”,但是其实已经做了该项改动。
  4.运行 Heritrix
      CMD定位到 %HERITRIX_HOME%\bin,执行 "heritrix --admin=admin:admin" 命令,即可启动 heritrix,有一点需要注意,heritrix默认使用8080端口,要保证系统端口没有冲突。之后便可以访问 http://127.0.0.1:8080 使用 heritrix 提供的WUI,即Web管理端。并且使用"admin/admin"登录。
      该管理端提供了Heritrix默认提供的所有配置功能,并且可以创建一个Job并且执行该Job抓取网站。
5.一个简单的Job:
      Heritrix提供的配置功能非常丰富,但是也很复杂,刚开始的时候很难正确的创建并且执行一个Job去抓取网站,自己阅读了大部分的Heritrix用户文档和多次尝试之后,总结了一个简单的创建执行Job的用例,该用例为抓取www.baidu.com下的网页,但子域(如 news.baidu.com)不抓取,步骤如下,可供参考:
(1) WUI的上边的导航栏选择"Jobs",呈现的第一项是"Create New Job",选择第四小项"With defaults"。输入项的前两项
     Name和Description随意,Seeds非常重要: http://www.baidu.com/ 注意最后一个反斜杠必须。
 
(2) 选择下边的"Modules",进入Module配置页( Heritrix的扩展功能都是通过模块概念实现的,可以实现自己的模块完成自己
     想要的功能)。其中第一项 " Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"
     。倒数第三项 " Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ,后添加
     "org.archive.crawler.writer.MirrorWriterProcessor",这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
     目录结构中,而不是生成ARC存档文件。
 
(3) 选择"Modules"右边的"Submodules",在第一项内容中 " crawl-order -> scope-> decide-rules-> rules" 删除掉其
     中的 "acceptIfTranscluded" ( org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的
     规则。否则当Http请求返回301或者302时 Heritrix会去抓取其他域下的网页。 
 
(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面,其中主要修改两项: http-headers 下的user-agent 和
     from,他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容
    ("PROJECT_URL_HERE" 要以 "http://" 开头)
 
(5) 在WUI的第二行导航栏中选择最右边的"Submit job"
 
(6) 在WUI的第一行导航栏中选择第一项的"Console",点击"Start",抓取任务正式开始,时间长短有网络状况和所抓取网站的
     深度有关。
     按照如上步骤应该可以正确的执行一次网站的抓取任务,抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到,都有详细的说明。
三、 Heritrix详细介绍

        Heritrix主要有三大部件:范围部件,边界部件,处理器链 
        范围部件: 主要按照规则决定将哪个URI入队。 
        边界部件: 跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处理过的URI。 
        处理器链: 包含若干处理器获取URI,分析结果,将它们传回给边界部件 
Heritrix的其余部件有: 
WEB管理控制台: 大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。 操作者可以通过选择Crawler命令来操作控制台。 
Crawler命令处理部件: 包含足够的信息创建要爬的URI。 
Servercache(处理器缓存): 存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。 
        处理器链: 
预取链: 主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。 
提取链: 主要是获得资源,进行DNS转换,填写请求和响应表单 
抽取链: 当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估 
写链: 存储爬行结果,返回内容和抽取特性,过滤完存储。 
提交链: 做最后的维护,例如,测试那些不在范围内的,提交给边 界部件 
   Heritrix 1.0.0包含以下关键特性:

  1. 用单个爬虫在多个独立的站点一直不断的进行递归的爬。
  2. 从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
  3. 主要是用广度优先算法进行处理。(http://www.my400800.cn )
  4. 主要部件都是高效的可扩展的

   良好的配置,包括:

  1. 可设置输出日志,归档文件和临时文件的位置
  2. 可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
  3. 可设置工作线程数量。
  4. 可设置所利用的带宽的上界。
  5. 可在设置之后一定时间重新选择。
  6. 包含一些可设置的过滤机制,表达方式,URI路径深度选 择等等。


Heritrix的局限

  1. 单实例的爬虫,之间不能进行合作。
  2. 在有限的机器资源的情况下,却要复杂的操作。
  3. 只有官方支持,仅仅在Linux上进行了测试。
  4. 每个爬虫是单独进行工作的,没有对更新进行修订。
  5. 在硬件和系统失败时,恢复能力很差。
  6. 很少的时间用来优化性能。
四、 Heritrix爬虫设置
爬虫信息 
爬虫名称: Heritrix 
爬行强度: 低 
HTTP User Agent: 
Mozilla/5.0 (compatible; heritrix/1.14.4 +http://wwwxmlweb.com.cn /) 
来访IP:127.0.0.1(本地测试,无固定ip)

对Heritrix爬虫进行控制 
Heritrix被设计成严格遵循robots.txt文件的排除指示和META robots标签。 

邀请Heritrix来访 
如果你在在robots.txt中限制了部分爬虫,那么你可能需要在robots.txt中增加下述内容: 
User-agent: Heritrix Disallow: 

禁止Heritrix访问 
如果你不希望Heritrix爬虫占用服务器资源,可以这样封锁它: 
User-agent: Heritrix 
Disallow: / 

如果你仅仅不希望Heritrix爬行某些目录,则可以这样: 
User-agent: Heritrix 
Disallow: /somedir/ 
五    Nutch 架构


六    Nutch 的架构示意图


 
  

 

下面是Nucth的运行流程图:



其中nutch的抓取模块在编制索引保存到索引库之后就算完成。

另外一个图,可能需要在熟悉nutch之后才能看懂:


 

 首先理解nutch的三个数据目录:

1.crawdb ,linkdb 是web link目录,存放url 及url的互联关系,作为爬行与重新爬行的依据,页面默认30天过期。

2.segments 是主目录,存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行,因此每爬完一轮会生成一个segment目录。

3.index 是lucene的索引目录,是indexs里所有index合并后的完整索引,注意索引文件只对页面内容进行索引,没有进行存储,因此查询时要去访问segments目录才能获得页面内容。




其中nutch的抓取模块在编制索引保存到索引库之后就算完成。

另外一个图,可能需要在熟悉nutch之后才能看懂:

 


 

 

 三个目录

首先理解nutch的三个数据目录:

1.crawdb ,linkdb 是web link目录,存放url 及url的互联关系,作为爬行与重新爬行的依据,页面默认30天过期。

2.segments 是主目录,存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行,因此每爬完一轮会生成一个segment目录。

3.index 是lucene的索引目录,是indexs里所有index合并后的完整索引,注意索引文件只对页面内容进行索引,没有进行存储,因此查询时要去访问segments目录才能获得页面内容。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值