docker 配置hadoop问题

最新推荐文章于 2025-01-10 15:07:47 发布

原创最新推荐文章于 2025-01-10 15:07:47 发布 · 825 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#docker hadoop

本文介绍了Hadoop集群的配置步骤，包括解决namenode未启动的问题及通过Docker容器部署Hadoop的方法。此外，还涉及了如何将本地端口映射到Docker容器端口以便于网页访问Hadoop的状态报告。

1.root@caf2f69691f3:/opt/hadoop-2.6.0/sbin# hdfs dfsadmin -report
Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: NaN%
Under replicated blocks: 0
Blocks with corrupt replicas: 0

Missing blocks: 0

namenode没有开启执行 /opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start datanode

2.网页访问docker容器的hadoop 把本地端口50071绑定容器端口50070 （hadoop hdfs默认访问端口）

sudo docker run -it -p 50071:50070 --name master1 shanyx/ubuntu:hadoop /bin/bash

3.sudo docker ps --no-trunc查看容器完整id

把本地文件传入已开启docker容器 sudo cp ins/a /var/lib/docker/devicemapper/mnt/caf2f69691f3f05dfa7e3da82763cfd2a0c5ea718a082da99adaa758eeee8cb4/opt/

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

u012336939

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Incompatible namespaceIDs问题解决，hdfs文件上传失败

qq_45738555的博客

11-18

1514

解决namenode启动异常情况事情起因笔者在离线安装的hadoop上尝试往hdfs文件系统里面传输数据的时候，发现一直传不上去，报错内容如下： DataStreamer Exception: org.apache.hadoop .ipc.RemoteException: java.io.IOEx <此处省略大部分内容> could only be replicated to 0 node instead of minReplication(-1) 大概内容如下，因为笔者的已经弄好了，忘

hadoop搭建--datanode信息为0，Live datanodes 为0

weixin_36343850的博客

09-09

2771

背景 hadoop集群启动后，无有效的datanode节点，表现形式为：使用hdfs dfsadmin -report查看节点的情况时，都是0 xf@master01:~/hadoop-2.6.5$ hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated bloc

参与评论您还未登录，请先登录后发表或查看评论

[精华]linux下hdfs的datanode正常运行，但是hdfs dfsadmin -report全部为0，Configured Capacity：0（0B）的5种解决办法.

weixin_43856994的博客

06-20

2062

datanode正常运行，但是hdfs dfsadmin -report文件空间为0 解决方案：Slave对Master的访问存在问题：1.hosts里ip映射出错，2.hdfs配置文件core-side或hdfs-side等配置出错，尤其是其中的ip地址；3.关闭hdfs，格式化namenode：hdfs namenode -format ，重启。4.namenode的currentID要和datanode的一致，文件在/hadoop/tmp/dfs/name(data)/current/VERSION

Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) D

hongdunyang的博客

11-28

4892

运行hdfs dfsadmin -report没有报错，但是所有项都为0； Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: 0.00% Replicated Blocks: Under replicated blocks: 0 Blo...

hadoop2.3.0错误之Configured Capacity: 0 (0 B)Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used:

zjq4119的专栏

04-16

7391

发现自己真是。。。今天的错误跟之前的

docker配置hadoop

09-28

001

Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件

03-21

Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件搭建集群环境

Docker 容器部署Hadoop/Hive单机测试环境

最新发布

04-12

7. Hadoop和Hive安装与配置：接下来需要按照Hadoop和Hive的安装指南来配置相关环境变量，安装配置Hadoop和Hive，包括设置Hadoop的JAVA_HOME、配置Hadoop的环境变量、设置Hadoop的NameNode、DataNode等，并进行Hive的...

docker 搭建hadoop

烂小鱼的博客

01-10

1168

第一次第一次启动，务必要format一下namenode，后面再启动就不需要format了 hdfs namenode -format # 启动集群 start-all.sh。

大数据利用docker配置hadoop集群

daybreaker3的博客

04-12

1712

自己md文件不好加载放在csdn上

Hadoop ~之安装注意事项

cai_and_luo的博客

05-17

1108

Hadoop ~之安装注意事项一：经常格式化导致报错如下hadoop起动后没有datanode的问题没有配置native环境配置时全部写主机名，不要写地址，不然会错Hadoop-在HDFS创建文件报mkdir: Cannot create directory /aa. Name node is in safe mode.hadoop环境报failed on connection exceptionLinux下永久修改主机名jps报process information unavailable的解决办法bas

hadoop dfsadmin -report时出现数据都为0B

抛物线的博客

06-02

4972

执行hadoop dfsamin -report 时出现数据时都为0B 如下所示： [root@master hadoop]# hadoop fsadmin -report Error: Could not find or load main class fsadmin [root@master hadoop]# hadoop dfsadmin -report DEPRECATED: Use o...

hadoop文件操作错误---org.apache.hadoop.ipc.RemoteException(java.io.IOException)

沐雨金鳞

01-25

4037

使用hadoop dfsadmin -report命令查看磁盘使用情况如果是下面的情况 Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated blocks: 0

问题：hdfs管理界面：Summary部分，Configured Capacity: 0 B

dengmanzhou3124的博客

05-28

1075

hdfs管理界面：Summary部分，Configured Capacity: 0 B。正常应该不是0，而是显示系统分配给hdfs的剩余容量。原因：NameNode的clusterID和DataNode的不一致，所以未能启动。之所以会这样，是因为我们执行了多次bin/hdfs namenode -format命令，导致NameNode的clusterID改变而DataNode却...

记一次Configured Capacity: 0 (0 B)的解决

weixin_34261739的博客

10-17

1168

场景最近hadoop集群新加了一个节点N，通过Ambari管理一切正常。过了两天发现，虽然集群每天要进几个G的数据(共8个节点)，但节点N占用空间丝毫没有变化，显然没有进数据啊日志查看该节点日志，没有任何异常。缩小问题范围为了验证节点N没有进数据，我登录到该节点，并执行hdfs的put操作上传一个本地文件，在web页面中查看该文件的数据块分布。正常情况，h...

DFS Used%: NaN%问题

weixin_30363981的博客

07-13

1049

一.问题描述： [root@master sbin]# hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated blocks: 0 Blo...

hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException)