windows下nutch初探

运行crawl 环境：winxp+cygwin+ nutch0.7.1

step 1)
下载nutch0.7.1后解压到比如e:/nutch-0.7.1 并设置环境变量JAVA_HOME

step2)
在e:/nutch-0.7.1建立一个文件,名为urls,内容为blog.youkuaiyun.com/pwlazy,表示待爬的网页

step3)
将e:/nutch-0.7.1/conf下的crawl-urlfilter.txt修改

# accept hosts in MY.DOMAIN.NAME

变为

# accept hosts in MY.DOMAIN.NAME
+^http://blog.youkuaiyun.com/pwlazy

4)打开cygwin,运行命令

cd /cgydrive/e/nutch-0.7.1

bin/nutch crawl urls -dir crawled -depth 3 >& crawl.log

关于第二行命令的解释网上到处都是,就不再赘述了

以上4步完成 crawl

 为了测试上面的结果,可利用nutch-0.7.1下的nutch-0.7.1.war,war中提供了简单的搜索页

补充说明:
下载nutch-0.8使用,会出现一堆错误,网上有人说是因为hadoop-0.4.0.jar的原因,反正我不知道,如果哪位知道,希望不吝赐教.不得已,下载了nutch-0.7.1,很顺利就搞定