java.io.IOException: Job failed! 问题已经解决

报 Exception in thread "main" java.io.IOException: Job failed!

查看到的主要 问题是nutch-default.xml中的plugin.folders的配置问题

<property>
<name>plugin.folders</name>
<value>./src/plugin</value>
<description>Directories where nutch plugins are located. Each
element may be a relative or absolute path. If absolute, it is used
as is. If relative, it is searched for on the classpath.</description>
</property>
上一篇博客中也强调了这个地方。
这里强调的是如果你执行nutch命令的位置不是在工程目录下。举一个场景:
目前所在目录是linux的根目录下
#cd /
要执行的nutch在/home/workspace/Nutch14项目下
那么在根目录下执行/home/workspace/Nutch14/runtime/local/bin/nutch脚本
则会出现Job failed!失败的情况
如果是这种情况,要改成:
<property>
<name>plugin.folders</name>
<value>/home/workspace/Nutch14/runtime/local/plugins</value>
<description>Directories where nutch plugins are located. Each
element may be a relative or absolute path. If absolute, it is used
as is. If relative, it is searched for on the classpath.</description>
</property>
总结就是一定要找到plugin.folders的位置
绝对地址有时还不错!
这个错误是由于Hadoop集群中没有可用的数据节点来复制文件,导致文件无法被正确地复制到集群中。可以尝试以下几种方法来解决这个问题: 1. 检查Hadoop集群的健康状态 首先需要检查Hadoop集群是否正常运行,并且所有数据节点都处于可用状态。可以使用以下命令来检查数据节点的状态: ``` hdfs dfsadmin -report ``` 如果发现有节点处于离线状态,则需要将其重新启动或调整配置以使其重新加入集群。 2. 检查Hadoop配置文件 如果Hadoop配置文件中的某些参数设置不正确,则可能会导致文件无法正确地复制到集群中。因此,需要检查Hadoop配置文件中的以下参数: - dfs.replication:指定文件的副本数,应该大于等于1。 - dfs.namenode.replication.min:指定文件的最小副本数,应该大于等于1。 - dfs.datanode.max.transfer.threads:指定每个数据节点可以同时进行的文件传输线程数。 3. 检查文件权限 如果文件权限设置不正确,则可能会导致文件无法正确地复制到集群中。因此,需要检查文件所在目录及其父目录的权限,并确保当前用户具有读写权限。 4. 检查网络连接 如果Hadoop集群与客户端之间的网络连接不稳定,则可能会导致文件无法正确地复制到集群中。因此,需要检查网络连接是否正常,并确保网络带宽足够。 通过以上方法,可以解决这个错误并正确地将文件复制到Hadoop集群中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值