Heritrix 是个 "archival crawler" -- 用来获取完整的、精确的、站点内容的深度复制。包括获取图像以及其他非文本内容。抓取并存储相关的内容。对内容来者不拒,不对页面进行内容上的修改。重新爬行对相同的URL不针对先前的进行替换。爬虫通过Web用户界面启动、监控、调整,允许弹性的定义要获取的URL。
Nutch:(1)Nutch 只获取并保存可索引的内容。 Heritrix 则是照单全收。力求保存页面原貌,导致了很多无用的数据结果。(2)Nutch 可以修剪内容,或者对内容格式进行转换。(3)Nutch 保存内容为数据库优化格式便于以后索引;刷新替换旧的内容。而 Heritrix 是添加(追加)新的内容。(4)Nutch 从命令行运行、控制。 Heritrix 有 Web 控制管理界面。(5)Nutch 的定制能力不够强,不过现在已经有了一定改进。 Heritrix 可控制的参数更多。
controlRole @PASSWORD@ ==> controlRole admin
(1) WUI的上边的导航栏选择"Jobs",呈现的第一项是"Create New Job",选择第四小项"With defaults"。输入项的前两项Name和Description随意,Seeds非常重要: http://www.baidu.com/ 注意最后一个反斜杠必须。(2) 选择下边的"Modules",进入Module配置页( Heritrix的扩展功能都是通过模块概念实现的,可以实现自己的模块完成自己想要的功能)。其中第一项 " Select Crawl Scope" 使用默认的 "org.archive.crawler.deciderules.DecidingScope"。倒数第三项 " Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ,后添加"org.archive.crawler.writer.MirrorWriterProcessor",这样执行任务的时候抓取到的页面会以镜像的方式放在本地的目录结构中,而不是生成ARC存档文件。(3) 选择"Modules"右边的"Submodules",在第一项内容中 " crawl-order -> scope-> decide-rules-> rules" 删除掉其中的 "acceptIfTranscluded" ( org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的规则。否则当Http请求返回301或者302时 Heritrix会去抓取其他域下的网页。(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面,其中主要修改两项: http-headers 下的user-agent 和from,他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 替换为自己的内容("PROJECT_URL_HERE" 要以 "http://" 开头)(5) 在WUI的第二行导航栏中选择最右边的"Submit job"(6) 在WUI的第一行导航栏中选择第一项的"Console",点击"Start",抓取任务正式开始,时间长短有网络状况和所抓取网站的深度有关。
Heritrix主要有三大部件:范围部件,边界部件,处理器链
范围部件: 主要按照规则决定将哪个URI入队。
边界部件: 跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处理过的URI。
处理器链: 包含若干处理器获取URI,分析结果,将它们传回给边界部件
Heritrix的其余部件有:
WEB管理控制台: 大多数都是单机的WEB应用,内嵌JAVA HTTP 服务器。 操作者可以通过选择Crawler命令来操作控制台。
Crawler命令处理部件: 包含足够的信息创建要爬的URI。
Servercache(处理器缓存): 存放服务器的持久信息,能够被爬行部件随时查到,包括IP地址,历史记录,机器人策略。
处理器链:
预取链: 主要是做一些准备工作,例如,对处理进行延迟和重新处理,否决随后的操作。
提取链: 主要是获得资源,进行DNS转换,填写请求和响应表单
抽取链: 当提取完成时,抽取感兴趣的HTML,JavaScript,通常那里有新的也适合的URI,此时URI仅仅被发现,不会被评估
写链: 存储爬行结果,返回内容和抽取特性,过滤完存储。
提交链: 做最后的维护,例如,测试那些不在范围内的,提交给边 界部件
Heritrix 1.0.0包含以下关键特性:
- 用单个爬虫在多个独立的站点一直不断的进行递归的爬。
- 从一个提供的种子进行爬,收集站点内的精确URI,和精确主机。
- 主要是用广度优先算法进行处理。(http://www.my400800.cn )
- 主要部件都是高效的可扩展的
良好的配置,包括:
- 可设置输出日志,归档文件和临时文件的位置
- 可设置下载的最大字节,最大数量的下载文档,和最大的下载时间。
- 可设置工作线程数量。
- 可设置所利用的带宽的上界。
- 可在设置之后一定时间重新选择。
- 包含一些可设置的过滤机制,表达方式,URI路径深度选 择等等。
Heritrix的局限
- 单实例的爬虫,之间不能进行合作。
- 在有限的机器资源的情况下,却要复杂的操作。
- 只有官方支持,仅仅在Linux上进行了测试。
- 每个爬虫是单独进行工作的,没有对更新进行修订。
- 在硬件和系统失败时,恢复能力很差。
- 很少的时间用来优化性能。
爬虫名称: Heritrix
爬行强度: 低
HTTP User Agent:
Mozilla/5.0 (compatible; heritrix/1.14.4 +http://wwwxmlweb.com.cn /)
来访IP:127.0.0.1(本地测试,无固定ip)
对Heritrix爬虫进行控制
Heritrix被设计成严格遵循robots.txt文件的排除指示和META robots标签。
邀请Heritrix来访
如果你在在robots.txt中限制了部分爬虫,那么你可能需要在robots.txt中增加下述内容:
User-agent: Heritrix Disallow:
禁止Heritrix访问
如果你不希望Heritrix爬虫占用服务器资源,可以这样封锁它:
User-agent: Heritrix
Disallow: /
如果你仅仅不希望Heritrix爬行某些目录,则可以这样:
User-agent: Heritrix
Disallow: /somedir/

下面是Nucth的运行流程图:
其中nutch的抓取模块在编制索引保存到索引库之后就算完成。
另外一个图,可能需要在熟悉nutch之后才能看懂:
首先理解nutch的三个数据目录:
1.crawdb ,linkdb 是web link目录,存放url 及url的互联关系,作为爬行与重新爬行的依据,页面默认30天过期。
2.segments 是主目录,存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行,因此每爬完一轮会生成一个segment目录。
3.index 是lucene的索引目录,是indexs里所有index合并后的完整索引,注意索引文件只对页面内容进行索引,没有进行存储,因此查询时要去访问segments目录才能获得页面内容。
其中nutch的抓取模块在编制索引保存到索引库之后就算完成。
另外一个图,可能需要在熟悉nutch之后才能看懂:
三个目录
首先理解nutch的三个数据目录:
1.crawdb ,linkdb 是web link目录,存放url 及url的互联关系,作为爬行与重新爬行的依据,页面默认30天过期。
2.segments 是主目录,存放抓回来的网页。页面内容有bytes[]的raw content 和 parsed text的形式。nutch以广度优先的原则来爬行,因此每爬完一轮会生成一个segment目录。
3.index 是lucene的索引目录,是indexs里所有index合并后的完整索引,注意索引文件只对页面内容进行索引,没有进行存储,因此查询时要去访问segments目录才能获得页面内容。