java.io.IOException: Job failed! 问题已经解决

最新推荐文章于 2024-02-03 09:21:54 发布

原创最新推荐文章于 2024-02-03 09:21:54 发布 · 2.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#java #大数据 #runtime

经典代码专栏收录该内容

4 篇文章

订阅专栏

本文解决Nutch爬虫工具在执行过程中遇到的Job failed问题，主要原因是nutch-default.xml文件中plugin.folders配置不正确。文章详细介绍了如何根据实际路径修改此配置项，并提供了一个具体的例子来帮助读者解决问题。

报 Exception in thread "main" java.io.IOException: Job failed!

查看到的主要问题是nutch-default.xml中的plugin.folders的配置问题

<property>
<name>plugin.folders</name>
<value>./src/plugin</value>
<description>Directories where nutch plugins are located. Each
element may be a relative or absolute path. If absolute, it is used
as is. If relative, it is searched for on the classpath.</description>
</property>
上一篇博客中也强调了这个地方。
这里强调的是如果你执行nutch命令的位置不是在工程目录下。举一个场景：
目前所在目录是linux的根目录下
#cd /
要执行的nutch在/home/workspace/Nutch14项目下
那么在根目录下执行/home/workspace/Nutch14/runtime/local/bin/nutch脚本
则会出现Job failed!失败的情况
如果是这种情况，要改成：
<property>
<name>plugin.folders</name>
<value>/home/workspace/Nutch14/runtime/local/plugins</value>
<description>Directories where nutch plugins are located. Each
element may be a relative or absolute path. If absolute, it is used
as is. If relative, it is searched for on the classpath.</description>
</property>
总结就是一定要找到plugin.folders的位置
绝对地址有时还不错！