学习记录-docker配置与运行hadoop时出现的问题和错误


Docker 版本 19.03.13
hadoop 版本 2.7.0

用docker搭建hadoop伪分布式集群
参考文章:Docker安装分布式Hadoop

遇到的问题及解决方法

Hadoop配置后没有NameNode进程的解决方法
Hadoop配置后没有NameNode进程怎么回事?
hadoop启动后jps查不到namenode的解决办法


缺少DataNode进程的解决办法
hadoop——缺少DataNode的解决办法
对于hadoop守护进程缺少SecondaryNameNode或Datanode的一个解决办法
hadoop—jps执行后缺少DataNode的解决办法


为何格式化hdfs,tmp/data文件夹下没有current
解决方法:查看hdfs-site.xml文件是否配置错误

我的问题是,hdfs-site.xml文件多加了错误配置“dfs.datanode.name.dir”,如下:

<property>
	<name>dfs.datanode.name.dir</name>
	<value>file:///usr/local/hadoop-2.7.0/hadoop_tmp/dfs/name</value>
</property>

导致格式化hdfs,tmp/data文件夹下没有current。这样datanode进程就无法启动


在使用hadoop Java API 管理文件时,报错

 WARN - I/O error constructing remote block reader.
 java.net.ConnectException: Connection timed out: no further information
......
 WARN - Failed to connect to /172.18.0.3:50010 for block
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

夜里的雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值