在Eclipse中调试运行Nutch

昨天花了一天时间都没有搞定Nutch（nutch 0.8版本）。今天终于在同学提示下搞定了。总结一下这个恶心的东西，免得其他同志们再浪费宝贵的生命。

注意你遇到问题肯定都是配置问题，不可能是源程序的问题，要不然nutch就肯定运行不了了。通常在控制台运行nutch是没有问题的。至于具体的运行Crawl参考： nutch 0.8 tutorial。关键的配置有conf下面的nutch-site.xml, hadoop-site.xml。其中nutch-site.xml和had-oop-site.xml里面的设置分别覆盖nutch-default.xml和hadoop-default.xml里面的值。

1、首先参考官方网站的导入操作（如果不是很熟悉的话一定要参考，免得浪费时间），详见： RunNutchInEclipse，注意按照这种方式导入的时候会将所有的jar都添加到classpath底下。我个人觉得nutch-0.8.1.jar需要移除，其实这个就是所有源文件打成了分发的jar包。
2、删除src/test源代码下面的nutch-site.xml。否则在运行的时候会加载多个nutch-site.xml，而你不修改所有的nutch-site.xml的话，天知道它到底加载了哪一个。nutch的开发者也是很搞笑，故意在test地下放这个文件，让大家犯错。可是浪费哥一天的时间啊，当然也是技术不过关了，居然还是没有发现这个错误。
3、按照官方文档运行Crawl，如果运行还是没有结果的话，那就是要在nutch-site.xml的configuration下增加一个http.agent.name节点：
<property>
  <name>http.agent.name</name>
  <value>test</value>
</property>
其实这个信息是在tutorail里面有说到的。
按照上面三个步骤来做的话照理来说是没有问题了。

我还遇到一个问题就是，我在Linux服务器上只是普通用户，所以运行nutch的时候还会出现这么一个错误：“没有对什么/tmp/……文件夹的权限操作”。最简单的解决办法就是跟管理员说提升权限为root了。如果这个不行的话，那就有一个更好的方法：修改hadoop-site。怎么修改呢？首先在hadoop-0.4.0-patched.jar下可以找到hadoop-default.xml，打开这个文件，然后将里面对应设置成/tmp/……值得属性全部拷贝出来，然后将它们粘贴到hadoop-site.xml里面，将值全部设成你有权限的文件夹就可以了。这个方法照理来说是可以的，如果还是不行的话，那就直接把hadoop-default.xml里面的值修改掉好了，具体方法是将该文件解压出来（不会？直接用解压管理器就好了），然后修改相应的值，接着再添加进去，就可以覆盖掉原来的。

问题就这些吧，记住一定是配置问题。在运行过程中出现问题的话，首先要看看哪些配置文件加载了，如果好几个相同名字的配置文件加载了，最好把多余的去掉，因为你无法确定类加载器到底加载了那个配置。

其实我觉得nutch的开发者还是没有做到周详，怎么可以在src/test下面也加一个nutch-site.xml呢。
<script type="text/javascript" src="http://pagead2.googlesyndication.com/pagead/show_ads.js"> </script>