Hadoop初体验——问题总结

最新推荐文章于 2024-12-06 17:54:51 发布

weixin_34319374

最新推荐文章于 2024-12-06 17:54:51 发布

阅读量72

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java 运维

原文链接：http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html

本文记录了Hadoop初次安装配置过程中遇到的各种问题及解决方案，包括SSH配置、安全模式问题、复制节点数量不足及DataNode错误等，并分享了解决这些问题的具体步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

第一次使用Hadoop，整个过程真是让我折腾。

先是在cygwin下，出现如下问题：

cygwin :1.7.5-1
openssh :5.5p1-2
openssl :0.9.8o-2

ssh已经配置，且在cygwin下输入：
net start sshd
显示成功启动

然后输入，
ssh localhost
此时，没有任何输出，一直挂着。

事件查看器输出如下错误：
sshd: PID 632: error: setsockopt IPV6_V6ONLY: Protocol not available.
似乎是sshd内部调用setsockopt设置IPV6_V6ONLY出错。

搞了很久，也没搞好。只好做罢，在vmware中又遇到各种问题：

1、safemode

bin / hadoop fs - put ./ input input
put : org . apache . hadoop . hdfs . server . namenode . SafeModeException : Cannot create directory / user / root / input . Name node is in safe mode .

解决方法：

NameNode在启动的时候首先进入安全模式，如果datanode丢失的block达到一定的比例（1-dfs.safemode.threshold.pct），则系统会一直处于安全模式状态即只读状态。

dfs.safemode.threshold.pct（缺省值0.999f）表示HDFS启动的时候，如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式，否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

下面这行摘录自NameNode启动时的日志（block上报比例1达到了阀值0.9990）

The ratio of reported blocks 1.0000 has reached the threshold 0.9990. Safe mode will be turned off automatically in 18 seconds.
hadoop dfsadmin -safemode leave

有两个方法离开这种安全模式
（1）修改dfs.safemode.threshold.pct为一个比较小的值，缺省是0.999。
（2）hadoop dfsadmin -safemode leave命令强制离开

用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：

enter - 进入安全模式
leave - 强制NameNode离开安全模式
get - 返回安全模式是否开启的信息
wait - 等待，一直到安全模式结束。

2、could only be replicated to 0 nodes, instead of 1

#执行 fs -put时，出现如下问题

hdfs . DFSClient : DataStreamer Exception : org . apache . hadoop
. ipc . RemoteException : java . io . IOException : ... could only be replicated to 0 nodes , instead of 1 ...

解决方法：
（1）防火墙原因
（2）磁盘空间原因
df –ah #查看磁盘空间
如果是磁盘空间不够，则调整磁盘空间(我就是该原因，折腾了很久)，推荐一个强大的分区工具GParted 。

3、DataNode error

代码

2010 - 06 - 25 11 : 40 : 12 , 473 ERROR org . apache . hadoop . hdfs . server . datanode . DataNode :
java . io . IOException : Incompatible namespaceIDs in / tmp / hadoop - root / dfs / data :
namenode namespaceID = 647870650 ; datanode namespaceID = 466015089

解决方法：

删除 /tmp/hadoop-root/dfs目录下的所有目录，
执行hadoop namenode -format

很久没有用过Java了，原以为以后不会再有机会使用。但是，有Hadoop这样优秀的开源项目，不得不又重新拾起Java。

转载于:https://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html