文章目录
Docker 版本 19.03.13
hadoop 版本 2.7.0
用docker搭建hadoop伪分布式集群
参考文章:Docker安装分布式Hadoop
遇到的问题及解决方法
Hadoop配置后没有NameNode进程的解决方法
Hadoop配置后没有NameNode进程怎么回事?
hadoop启动后jps查不到namenode的解决办法
缺少DataNode进程的解决办法
hadoop——缺少DataNode的解决办法
对于hadoop守护进程缺少SecondaryNameNode或Datanode的一个解决办法
hadoop—jps执行后缺少DataNode的解决办法
为何格式化hdfs,tmp/data文件夹下没有current
解决方法:查看hdfs-site.xml文件是否配置错误
我的问题是,hdfs-site.xml文件多加了错误配置“dfs.datanode.name.dir”,如下:
<property>
<name>dfs.datanode.name.dir</name>
<value>file:///usr/local/hadoop-2.7.0/hadoop_tmp/dfs/name</value>
</property>
导致格式化hdfs,tmp/data文件夹下没有current。这样datanode进程就无法启动
在使用hadoop Java API 管理文件时,报错
WARN - I/O error constructing remote block reader.
java.net.ConnectException: Connection timed out: no further information
......
WARN - Failed to connect to /172.18.0.3:50010 for block