docker 配置hadoop问题

最新推荐文章于 2024-03-26 07:05:44 发布

u012336939

最新推荐文章于 2024-03-26 07:05:44 发布

阅读量825

点赞数

CC 4.0 BY-SA版权

文章标签： docker hadoop

本文链接：https://blog.youkuaiyun.com/u012336939/article/details/50839137

本文介绍了Hadoop集群的配置步骤，包括解决namenode未启动的问题及通过Docker容器部署Hadoop的方法。此外，还涉及了如何将本地端口映射到Docker容器端口以便于网页访问Hadoop的状态报告。

1.root@caf2f69691f3:/opt/hadoop-2.6.0/sbin# hdfs dfsadmin -report
Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: NaN%
Under replicated blocks: 0
Blocks with corrupt replicas: 0

Missing blocks: 0

namenode没有开启执行 /opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start datanode

2.网页访问docker容器的hadoop 把本地端口50071绑定容器端口50070 （hadoop hdfs默认访问端口）

sudo docker run -it -p 50071:50070 --name master1 shanyx/ubuntu:hadoop /bin/bash

3.sudo docker ps --no-trunc查看容器完整id

把本地文件传入已开启docker容器 sudo cp ins/a /var/lib/docker/devicemapper/mnt/caf2f69691f3f05dfa7e3da82763cfd2a0c5ea718a082da99adaa758eeee8cb4/opt/

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

u012336939

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Incompatible namespaceIDs问题解决，hdfs文件上传失败

qq_45738555的博客

11-18

1514

解决namenode启动异常情况事情起因笔者在离线安装的hadoop上尝试往hdfs文件系统里面传输数据的时候，发现一直传不上去，报错内容如下： DataStreamer Exception: org.apache.hadoop .ipc.RemoteException: java.io.IOEx <此处省略大部分内容> could only be replicated to 0 node instead of minReplication(-1) 大概内容如下，因为笔者的已经弄好了，忘

hadoop搭建--datanode信息为0，Live datanodes 为0

weixin_36343850的博客

09-09

2771

背景 hadoop集群启动后，无有效的datanode节点，表现形式为：使用hdfs dfsadmin -report查看节点的情况时，都是0 xf@master01:~/hadoop-2.6.5$ hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated bloc

参与评论您还未登录，请先登录后发表或查看评论

[精华]linux下hdfs的datanode正常运行，但是hdfs dfsadmin -report全部为0，Configured Capacity：0（0B）的5种解决办法.

weixin_43856994的博客

06-20

2062

datanode正常运行，但是hdfs dfsadmin -report文件空间为0 解决方案：Slave对Master的访问存在问题：1.hosts里ip映射出错，2.hdfs配置文件core-side或hdfs-side等配置出错，尤其是其中的ip地址；3.关闭hdfs，格式化namenode：hdfs namenode -format ，重启。4.namenode的currentID要和datanode的一致，文件在/hadoop/tmp/dfs/name(data)/current/VERSION

Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) D

hongdunyang的博客

11-28

4892

运行hdfs dfsadmin -report没有报错，但是所有项都为0； Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: 0.00% Replicated Blocks: Under replicated blocks: 0 Blo...

hadoop2.3.0错误之Configured Capacity: 0 (0 B)Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used:

zjq4119的专栏

04-16

7391

发现自己真是。。。今天的错误跟之前的

Hadoop ~之安装注意事项

cai_and_luo的博客

05-17

1108

Hadoop ~之安装注意事项一：经常格式化导致报错如下hadoop起动后没有datanode的问题没有配置native环境配置时全部写主机名，不要写地址，不然会错Hadoop-在HDFS创建文件报mkdir: Cannot create directory /aa. Name node is in safe mode.hadoop环境报failed on connection exceptionLinux下永久修改主机名jps报process information unavailable的解决办法bas

hadoop dfsadmin -report时出现数据都为0B

抛物线的博客

06-02

4972

执行hadoop dfsamin -report 时出现数据时都为0B 如下所示： [root@master hadoop]# hadoop fsadmin -report Error: Could not find or load main class fsadmin [root@master hadoop]# hadoop dfsadmin -report DEPRECATED: Use o...

hadoop文件操作错误---org.apache.hadoop.ipc.RemoteException(java.io.IOException)

沐雨金鳞

01-25

4037

使用hadoop dfsadmin -report命令查看磁盘使用情况如果是下面的情况 Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated blocks: 0

问题：hdfs管理界面：Summary部分，Configured Capacity: 0 B

dengmanzhou3124的博客

05-28

1075

hdfs管理界面：Summary部分，Configured Capacity: 0 B。正常应该不是0，而是显示系统分配给hdfs的剩余容量。原因：NameNode的clusterID和DataNode的不一致，所以未能启动。之所以会这样，是因为我们执行了多次bin/hdfs namenode -format命令，导致NameNode的clusterID改变而DataNode却...

记一次Configured Capacity: 0 (0 B)的解决

weixin_34261739的博客

10-17

1168

场景最近hadoop集群新加了一个节点N，通过Ambari管理一切正常。过了两天发现，虽然集群每天要进几个G的数据(共8个节点)，但节点N占用空间丝毫没有变化，显然没有进数据啊日志查看该节点日志，没有任何异常。缩小问题范围为了验证节点N没有进数据，我登录到该节点，并执行hdfs的put操作上传一个本地文件，在web页面中查看该文件的数据块分布。正常情况，h...

DFS Used%: NaN%问题

weixin_30363981的博客

07-13

1049

一.问题描述： [root@master sbin]# hdfs dfsadmin -report Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated blocks: 0 Blo...

hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException)

热门推荐

一路前行

07-02

6万+

搭建好hadoop后使用hadoop fs -put 命令上传文件发现失败，报了以下错误： 14/08/18 15:18:03 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/file1.txt.

hadoop上传不了文件之后发现-Configured Capacity: 0 (0 B)

qq_41037012的博客

03-03

2046

hadoop上传不了文件之后发现-Configured Capacity:为0。没有空间了。但是我的电脑空空如也，所以我 hdfs dfsadmin -report 查看hdfs是否真的有空间分配出去，但是Configured Capacity: 0 (0 B).上网百度之后，发现说是多次格式化导致容量分配为0.不过我只格式化过一次。所以问题肯定不在这，我又看了许多文章，发现也有说是host出错了...

Hadoop集群多次格式化导致容量分配为0不能导入数据

纸上得来终觉浅，绝知此事要躬行

01-03

4903

目录遇到问题解决问题验证处理情况查看集群状态遇到问题使用hadoop fs -put 命令上传文件发现失败，报了以下错误： 03/01/19 15:18:03 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): ...

hadoop 常用命令

sunny05296的博客

03-26

971

datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了 localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为 hadoop01 后，重启 datanode 服务，问题就解决了。-- load后会在配置文件决定的固定目录下产生一个表名对应的目录，目录下为对应的数据文件。

hadoop学习笔记（一）RemoteException:could only be replicated to 0 nodes instead of minReplication (=1)

qq_42265170的博客

04-18

1504

最近在学习hadoop的使用从开始使用到现在一直都没出现过这种报错只是想要在hadoop上新建一个文件夹就报错name node is in safe mode 属实给我整懵逼了我以为是我的集群最近开启-关闭的次数太多了出现了问题于是又坚持不懈的再次开启然后再次关闭（鬼知道我怎么想的，因为重启太多次导致的问题，我就要用重启来解决他？！！可能以毒攻毒的信念感太强了吧，就好像手机出问题了，我就会觉得重启手机，所有问题都会迎刃而解）结果就是没啥用于是我才开始尝试着去寻找解决办法 “name node

HADOOP运行中的错误汇总

qq_45077480的博客

06-14

581

问题描述：本人在复制文本时遇到的问题，报错显示如下 2021-06-15 00:16:18,889 WARN hdfs.DataStreamer: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /kb12/hd/cha01/a.txt._COPYING_ could only be written to 0 of the 1 minReplication nodes. There

hadoop的Configured Capacity和DFS Remaining变成0的解决办法

走走看看

09-13

5291

Configured Capacity: 0 Configured Remote Capacity: 0 B DFS Used: 0 KB (0%) Non DFS Used: 0 GB DFS Remaining: 0 GB (0%) Block Pool Used: 0 KB (0%) DataNodes usages% (Min/M...

docker配置hadoop

最新发布

12-31

### 如何在Docker容器中安装和配置Hadoop集群 #### 安装必要的软件包为了能够在环境中运行 Docker 并部署 Hadoop 集群，在基于 Red Hat 的系统上可以执行如下命令来安装所需的组件[^1]: ```bash yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin ``` 对于 Ubuntu 用户来说，虽然具体指令可能有所不同，但是原理相似。确保 Docker 已经被正确安装并启动。 #### 准备工作环境考虑到不同操作系统之间的差异性以及资源分配问题，很多人倾向于通过 VMware 或者其他虚拟化技术搭建 Linux 环境来进行大数据处理的学习与实践[^3]；然而，随着容器技术的发展，越来越多的人开始采用 Docker 来简化这一过程。尤其是在 Mac 上直接操作可能会遇到更多挑战的情况下，使用 Docker 可以提供一种更加便捷的方式去构建 Hadoop 集群。 #### 创建自定义网络为了让多个节点之间能够相互通信，应该先建立一个用户定义的桥接网络以便后续加入该网络中的服务实例可以直接互相访问。 ```bash docker network create hadoop-network ``` #### 构建镜像和服务定义通常会编写 `Dockerfile` 文件用于描述怎样从基础镜像出发定制适合特定需求的应用程序环境，并且配合 `docker-compose.yml` 描述多容器应用的服务组合方式及其依赖关系。这里假设已经有了合适的 Hadoop 版本的基础镜像作为起点，则可以在其基础上进一步调整配置参数满足实际应用场景的要求[^2]。 #### 启动集群成员根据预先设定好的 compose 文件一键拉起整个分布式计算框架的所有组成部分，包括但不限于 NameNode、DataNodes 和 ResourceManager 等角色实体。这期间需要注意的是要保证各个组件间正确的端口映射设置使得外部请求得以穿透防火墙到达目标主机内部监听的服务进程之上。 #### 修改核心站点配置文件完成上述步骤之后还需要针对具体的业务逻辑对 core-site.xml, hdfs-site.xml 这样的 XML 形式的配置文档做出相应更改从而指明诸如 fs.defaultFS (默认文件系统的 URI)， dfs.replication （副本数量）， yarn.resourcemanager.hostname（YARN 资源管理器地址）等重要属性值。