Apache Nutch（二）

Nutch Crawler工作流程：

1. Injector - 注入
2. Generator - 产生抓取列表
3. Fetcher - 从网上抓取网页
4. Parse Segment - 对抓取的网页进行解析
5. CrawlDB Update - 把抓取的URL状态和新发现的URL存入Crawl DB
6. LinkDB invertlinks

在 2-5 步骤循环 topN 次，最后执行 5步骤。

 

 

 

转载于:https://www.cnblogs.com/xuekyo/archive/2013/04/19/3031215.html