nutch 产生的目录说明

nutch 产生的目录说明：

segments目录存储抓取的页面，下面子目录的个数与获取页面的层数有关系，我指定-depth是3层，这个目录下就有3层。

  里面有6个子目录

  content,下载页面的内容；

  crawl_fetch,下载URL的状态内容；

  crawl_generate,待下载的URL的集合，在generate任务生成时和下载过程中持续分析出来；

  crawl_parse,存放用来更新crawldb的外部链接库；

  parse_data,存放每个URL解析出来的外部链接和元数据；

  parse_text,存放每个解析过的URL的文本内容；

具体内容，详见http://blog.sina.com.cn/s/blog_5c5168bc0100jz12.html文章。