IntelliJ IDEA 运行 Apache Nutch项目并自定义构建应用

一、clone 项目源代码

从gitHub上clone Apache Nutch 项目， clone地址：https://github.com/apache/nutch.git

二、导入项目到IDE，并编译

nutch是用Ant作为编译工具，ivy作为依赖管理工具运行的，所以在这之前，要确保你的机器上有ant和ivy这两个组件，这里我用的是ant (1.10.15) , ivy(2.5.3)

因为nutch team用的eclipse开发的项目，所以如果你用的idea开发作为你的IDE工具，可以根据下面的步骤来。

1. 运行下面的命令生成Eclipse项目文件 .project 和 .classpath

ant eclipse

此步骤会编译项目，并下载项目所需要的依赖。国内环境有一些仓库地址无法访问，这时你可以在ant的build.xml中配置你的代理地址信息，确保能拉取相关依赖包。

在没配置proxy之前，我的编译是这样的：

这个编译时间很长，我的这次耗时118分38秒。首先ivy会在你的用户目录下新建.ivy2的文件夹，类似maven的.m2, 相关的第三方依赖都会下载到这下面的cache文件夹中：

编译完成之后，会在nutch目录下新建build目录，并将编译好的classes文件和相关插件的jar包保存到此文件夹下：

到这里会发现没有生成对应的runtime目录，runtime目录是当你开发时测试运行的目录，此时可以再通过ant命令执行一次编译，则会生成runtime目录和其下面的local和deploy文件夹，此次编译会比较快,我的这次是耗时8s。

> ant

2. 导入项目到Idea中

因为项目使用ivy来管理依赖，所以在这之前要先安装IvyIDEA Plugin。

IntelliJ IDEA -> select File -> New -> Project from Existing Sources,然后选择nutch项目的根目录。

弹出“Import Proejct” 对话框，选择“Import project from external model",并选择Eclipse选项：

之后就是一路next，最后点“create”就可以将项目导入Idea了。

3. 导入code-style

IntelliJ IDEA -> Settings -> Editor -> Code Style -> Java, 然后scheme选择Project

右侧的齿轮打开之后导入eclise的code-style配置文件，此文件就在项目根路径下：

4. 在IntelliJ IDEA中运行项目

打开Run/Debug Configurations
点击“+”，创建一个“Application”配置
Main Class 选择你要运行的主类，这里用CSVIndexWriter做举例（org.apache.nutch.indexwriter.csv.CSVIndexWriter）
Working Directory：输入runtime目录下的local目录“/Users/xxx/nutch/runtime/local“
点击“Modify options > Modify Classpath”，将上一部working Directory下的conf（/Users/xxx/nutch/runtime/local/conf）目录配置到classpath下

点击“Modify options > Add VM Options",将下面的配置添加

-Xmx4096m
-Dhadoop.log.dir=/Users/xxx/nutch/runtime/local/logs
-Dhadoop.log.file=hadoop.log
-Dmapreduce.job.reduces=2
-Dmapreduce.reduce.speculative=false
-Dmapreduce.map.speculative=false
-Dmapreduce.map.output.compress=true