intellij 运行nutch 进行网络资源爬虫

前置条件:

1、安装ANT java编辑工具

将Apache-Nutch 编译成idea可以打开的文件

安装ANT安装教程：https://mp.youkuaiyun.com/postedit/84541347

2、下载Nutch源码；https://download.youkuaiyun.com/download/qq_31854907/10807862

3、安装好ANT后，将Nutch的源码进行编译：

Nutch源码是用ant进行构建的，需要转换成eclipse工程才可以导入IDE正确使用,Intellij和Netbeans都可以支持ecilpse工程。

解压下载的apache-nutch-1.9-src.zip，得到文件夹apache-nutch-1.9。
在执行转换之前，我们先修改一下ivy中的一个源，将它改为开源中国的镜像，否则转换的过程会非常缓慢。(ant源码中并没有附带依赖jar包，ivy负责从网上自动下载jar包）。
修改apache-nutch-1.9文件夹中的ivy/ivysettings.xml：

 

 找到repo.maven.org，将
      value="http://repo1.maven.org/maven2/" 替换成http://maven.oschina.net/content/groups/public/

 windows系统在控制台进入apache-nutch-1.9的根目录，执行命令ant eclipse -verbose进行编码等待从maven中下载jar

当下载结束后可使用intellij 打开Nutch源码