docker 配置hadoop问题

本文介绍了Hadoop集群的配置步骤,包括解决namenode未启动的问题及通过Docker容器部署Hadoop的方法。此外,还涉及了如何将本地端口映射到Docker容器端口以便于网页访问Hadoop的状态报告。
1.root@caf2f69691f3:/opt/hadoop-2.6.0/sbin# hdfs dfsadmin  -report
Configured Capacity: 0 (0 B)
Present Capacity: 0 (0 B)
DFS Remaining: 0 (0 B)
DFS Used: 0 (0 B)
DFS Used%: NaN%
Under replicated blocks: 0
Blocks with corrupt replicas: 0

Missing blocks: 0



namenode没有开启  执行      /opt/hadoop-2.6.0/sbin/hadoop-daemon.sh start datanode



2.网页访问docker容器的hadoop  把本地端口50071绑定容器端口50070 (hadoop hdfs默认访问端口)

sudo docker run -it -p 50071:50070 --name master1 shanyx/ubuntu:hadoop /bin/bash



3.sudo docker ps --no-trunc查看容器完整id

把本地文件传入已开启docker容器   sudo cp ins/a  /var/lib/docker/devicemapper/mnt/caf2f69691f3f05dfa7e3da82763cfd2a0c5ea718a082da99adaa758eeee8cb4/opt/

### 如何在Docker容器中安装和配置Hadoop集群 #### 安装必要的软件包 为了能够在环境中运行 Docker 并部署 Hadoop 集群,在基于 Red Hat 的系统上可以执行如下命令来安装所需的组件[^1]: ```bash yum install docker-ce docker-ce-cli containerd.io docker-compose-plugin ``` 对于 Ubuntu 用户来说,虽然具体指令可能有所不同,但是原理相似。确保 Docker 已经被正确安装并启动。 #### 准备工作环境 考虑到不同操作系统之间的差异性以及资源分配问题,很多人倾向于通过 VMware 或者其他虚拟化技术搭建 Linux 环境来进行大数据处理的学习与实践[^3];然而,随着容器技术的发展,越来越多的人开始采用 Docker 来简化这一过程。尤其是在 Mac 上直接操作可能会遇到更多挑战的情况下,使用 Docker 可以提供一种更加便捷的方式去构建 Hadoop 集群。 #### 创建自定义网络 为了让多个节点之间能够相互通信,应该先建立一个用户定义的桥接网络以便后续加入该网络中的服务实例可以直接互相访问。 ```bash docker network create hadoop-network ``` #### 构建镜像和服务定义 通常会编写 `Dockerfile` 文件用于描述怎样从基础镜像出发定制适合特定需求的应用程序环境,并且配合 `docker-compose.yml` 描述多容器应用的服务组合方式及其依赖关系。这里假设已经有了合适的 Hadoop 版本的基础镜像作为起点,则可以在其基础上进一步调整配置参数满足实际应用场景的要求[^2]。 #### 启动集群成员 根据预先设定好的 compose 文件一键拉起整个分布式计算框架的所有组成部分,包括但不限于 NameNode、DataNodes 和 ResourceManager 等角色实体。这期间需要注意的是要保证各个组件间正确的端口映射设置使得外部请求得以穿透防火墙到达目标主机内部监听的服务进程之上。 #### 修改核心站点配置文件 完成上述步骤之后还需要针对具体的业务逻辑对 core-site.xml, hdfs-site.xml 这样的 XML 形式的配置文档做出相应更改从而指明诸如 fs.defaultFS (默认文件系统的 URI)dfs.replication (副本数量), yarn.resourcemanager.hostname(YARN 资源管理器地址)等重要属性值。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值