犀利的博客

crawl 脚本用来实现 nutch 中对于网页的抓取 分析 索引工作。  把工程下下来之后 ，进入到 bin 目录： 两个脚本文件  crawl nutch   crawl 是对nutch 的进一步封装  首先我们看一下他的注释： # UNLIKE THE NUTCH ALL-IN-ONE-CRAWL COMMAND THIS SCRIPT DOES THE LINK INVERSIO

好，咱们继续。 parse $bin/nutch parse $commonOptions $skipRecordsOptions $CRAWL_PATH/segments/$SEGMENT CLASS=org.apache.nutch.parse.ParseSegment 这就是传说中的解析网页内容的操作。 map中： 首先只解析成功的内容，看上一步返回的状态码，如果不是成功的情况直