hadoop常见问题汇总(二)

本文解决Hadoop安装过程中的节点未启动问题,并提供排查步骤。同时介绍如何正确安装和配置Hadoop Eclipse插件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在hadoop安装过程中会出现各种小问题,如权限问题等。下面就几个进行分析:

1. 

ERROR hdfs.DFSClient: Exception closing file /tmp/input2 : org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/input2 could only be replicated to 0 nodes, instead of 1
理解:这个问题,可以很清楚地看到是有节点没启动或者没连接上。这里replicated 是我们在配置文件中hdfs-site.xml中配置的,单节点都是配置的数字1,这里说应该是0,就说明找不到节点。经过几番折腾,知道是由于datanode节点没开的原因。所以出现这个问题,可以jps看你的节点datanode有没有开,如果没有,就找没开的原因。可以看datanode的日志分析 在/var/...下可以查看。jps之后 NameNode SecondaryNameNode DataNode JobTracker TaskTracker都有才是正常的。

2. 

关于插件hadoop-eclipse-plugin-1.0.2.jar放到eclipse plugin中之后不能用的问题。这个插件里面缺少jar包,所以需要自己做一个能用的插件,具体参见http://hi.baidu.com/wangyucao1989/blog/item/279cef87c4b37c34c75cc315.html 注意几点,如果是Ubuntu apt-get install 安装的eclipse,那么插件放在/usr/lib/eclipse/plugin 中才有效。还有就是INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. 出现这个问题,一般是hadoop的配置问题。jps看有没有都开启,然后查看端口配置有没有错误。



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值