Heritrix一个简单的Job

最新推荐文章于 2025-12-04 23:20:36 发布

转载最新推荐文章于 2025-12-04 23:20:36 发布 · 502 阅读

文章标签：

本文提供了一种使用Heritrix爬虫抓取特定网站的方法，重点介绍如何配置参数来抓取目标网站而不包括其子域。文章详细说明了从创建任务到执行的六个步骤。

Heritrix提供的配置功能非常丰富，但是也很复杂，刚开始的时候很难正确的创建并且执行一个Job去抓取网站，自己阅读了大部分的Heritrix用户文档和多次尝试之后，总结了一个简单的创建执行Job的用例，该用例为抓取www.baidu.com下的网页，但子域（如 news.baidu.com）不抓取，步骤如下，可供参考：

(1) WUI的上边的导航栏选择"Jobs"，呈现的第一项是"Create New Job"，选择第四小项"With defaults"。输入项的前两项 Name和Description随意，Seeds非常重要：http://www.baidu.com/ 注意最后一个反斜杠必须。

(2) 选择下边的"Modules"，进入Module配置页（Heritrix的扩展功能都是通过模块概念实现的，可以实现自己的模块完成自己想要的功能）。其中第一项 "Select Crawl Scope" 使用默认的的 "org.archive.crawler.deciderules.DecidingScope"。倒数第三项 "Select Writers " 删除默认的 "org.archive.crawler.writer.ARCWriterProcessor" ，后添加 "org.archive.crawler.writer.MirrorWriterProcessor"，这样执行任务的时候抓取到的页面会以镜像的方式放在本地的目录结构中，而不是生成ARC存档文件。

(3) 选择"Modules"右边的"Submodules"，在第一项内容中 "crawl-order ->scope->decide-rules->rules" 删除掉其中的 "acceptIfTranscluded" (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。

(4) 在WUI的第二行导航栏中选择"Settings"进入Job的配置页面，其中主要修改两项：http-headers 下的user-agent 和 from，他们的"PROJECT_URL_HERE" 和 "CONTACT_EMAIL_ADDRESS_HERE" 分别替换为自己的IP地址和电子邮箱，例如http://219.223.192.211（注意："PROJECT_URL_HERE" 要以 "http://" 开头）、...@qq.com

通过抓包分析，得知IE，Firefox，傲游几个浏览器中 User-Agent的信息都为 “Mozilla/....”开头，而Opera 则不同的版本会有所不同。

(5) 在WUI的第二行导航栏中选择最右边的"Submit job"

(6) 在WUI的第一行导航栏中选择第一项的"Console"，点击"Start"，抓取任务正式开始，时间长短有网络状况和所抓取网站的深度有关。