目前发现一个原因是 因为datanode无法启动从而导致在hadoop上 put数据 出现 could only be replicated to > 0 nodes, instead of 1的错误。
输入jps发现唯独只有datanode进程没有起来。所以我们要想办法把datanode启动起来。
1.环境描述:
ubuntu11.10
伪分布是hadoop
jdk1.7
2.问题描述:
在hadoop上put数据时 出现could only be replicated to > 0 nodes, instead of 1的 错误提示。
jps命令 没有没看到datanode的进程启动。
3.问题原因:
是由于多次format namenode节点导致 namdenode 的 namespaceID 与 datanode的namespaceID 不一致,从而导致namenode和 datanode的断连。
(因为在多次format中 有 reformat namenode的提示,多次format中不用已知都选Y 去format namenode的 namespaceID ,这样很容易造成ID不一致的情况)

在Hadoop伪分布式环境中,由于datanode无法启动,put数据时出现'could only be replicated to > 0 nodes, instead of 1'的错误。问题根源在于namenode和datanode的namespaceID不一致,这可能由多次format namenode引起。解决方案是更新dfs.data.dir中的namespaceID,使其与dfs.name.dir中的保持一致,避免频繁reformat namenode。"
137352337,7947617,华为OD机试题解:统计不开心的小朋友数量,"['华为OD', 'C++', '算法']
最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



