docker-compose安装并启动hdfs

已于 2022-08-02 11:57:38 修改
阅读量965 收藏 3
点赞数
分类专栏： 大数据 文章标签： 大数据
于 2022-07-11 16:28:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42820161/article/details/125723806
版权
该博客介绍了如何通过Docker拉取并使用`singularities/hadoop:2.8`镜像，配置`docker-compose.yml`文件来启动Hadoop NameNode。步骤包括拉取镜像、配置容器端口映射，并展示成功启动后的HDFS节点状态。虽然镜像较旧，但对于需要Hadoop 2.8环境的读者仍有参考价值。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第一步：拉取hadoop镜像

docker pull singularities/hadoop:2.8

第二步:配置docker-compose.yml：

 namenode:
    image: singularities/hadoop:2.8
    command: start-hadoop namenode
    environment:
      HDFS_USER: root
    hostname: namenode
    ports:
      - "8020:8020"
      - "14000:14000"
      - "50070:50070"
      - "50075:50075"
      - "10020:10020"
      - "13562:13562"
      - "19888:19888"

第三步：创建容器并启动

1、创建容器 docker-compose -f docker-compose.yml up -d

2、访问：ip地址:50070，显示如下界面说明安装成功

查看hdfs的三个节点：

这个镜像好几年没有更新了，用的还是hadoop2.8，有需要的参考

docker构建hadoop镜像、docker-compose启动hdfs_weixin_42820161的博客-优快云博客

自定义hadoop镜像。

docker-compose安装Hadoop+hive+MySQL
u010948569的博客
07-12 2876
首先特别感谢参考的博客，感谢作者Victor_python是你指明了我探索的道路，让我能顺利完成本博客的内容 参考连接：docker下安装hive 2.3.4 Hadoop: v2.7.3 hive: v2.3.7 mysql: v5.7 mysql-connector-java: v5.1.49 mysql-connector-java下载地址： mysql-connector-java 如果上述地址无法下载，也可以到我的百度网盘下载 百度网盘链接：点击直达 提取码：nv7j Hadoop和
基于docker-compose安装hadoop 1+3模式集群
dh12313012的博客
07-06 1477
基于docker-compose安装hadoop 1+3模式集群1、`docker-compose.yml`：2、`hadoop.env`： 此处的样例是参考别人的，之后自己整合一套可以使用的1+3模式的集群。 1、docker-compose.yml： version: "2.2" services: namenode: image: bde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8 # 配置好 docker 内的假域名 hostn
基于Docker搭建hdfs分布式实验环境
u013242054的博客
10-20 2010
HDFS（Hadoop Distributed File System），作为Google File System（GFS）的实现，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。导入成功后，源tar文件可以删除。/usr/local/hadoop/bin/hdfs dfs -put /usr/local/hadoop/spark.tar.gz /test # 将刚压缩的文件上传到/test目录上。
简单讲讲在一台机器上用docker部署hadoop HDFS
qq_42901723的博客
09-13 3418
注意了!一定注意存储空间大小,确保机器至少有10G左右的空余,不然跑不起来的。
spark3.2.1-hdfs（docker compose 环境搭建）
星宇_大佬养成时的博客
10-01 455
spark3.2.1-hdfs（docker compose 环境搭建）
基于docker安装HDFS
core815的专栏
02-19 1452
由于 Hadoop 的 master 节点需要与 slave 节点通信，需要在各个主机节点配置节点 IP，为了不用每次启动都因为 IP 改变了而重新配置，在此配置一个 Hadoop 专用的网桥，配置之后各个容器的 IP 地址就能固定下来。为了方便后续通过 Java API 访问 HDFS，需要修改脚本，添加一个端口映射，将容器的 9000 端口映射到本地的 9000 端口，我们需要在-p 8088:8088 \下添加一行，如下图所示。HDFS访问地址为：IP:9000。
docker构建hadoop镜像、docker-compose启动hdfs
weixin_42820161的博客
07-25 1362
docker构建hadoop镜像、docker-compose启动hdfs
docker-compose 安装 hadoop 集群
qq_34474636的博客
07-09 293
docker-compose 安装 hadoop
【联邦学习】kubefate安装（docker-compose版）
Life is short, not float
03-29 1305
联邦学习框架kubefate安装
【Docker】Docker学习⑨ - 单机编排之Docker Compose
学无止境
01-24 1292
4.1 创建数据目录和文件4.2 编辑compose配置文件web1:expose:- 80- 443volumes:ports:- "80:80"web2: #每个容器一个IDexpose:- 80- 443ports:- "81:80"4.3 重启容器4.4 登录验证Web访问4.5 其他常用命令##重启单个指定容器##重启所有容器##停止和启动单个容器##停止和启动所有容器。
docker-compose搭建spark集群，包括hdfs集群
dw147258dw的专栏
03-15 446
我们经常会遇到这样一个情况，想搭建一个简单的大数据环境用来运行一些小工程小项目或者仅仅是用来学习和完成作业，然而spark集群和hdfs集群环境会消耗很多时间和精力，我们应该关注的是spark应用的开发，快速搭建整个环境，从而尽快投入编码和调试，今天我们就使用docker-compose，极速搭建和体验spark和hdfs的集群环境。先创建一个文件夹用来存放配置文件，集群的安装路径也会是这个文件夹，所以想好放在哪里比较好，我的路径是：/home/sparkcluster_hdfs。
在Linux服务器上使用docker部署高可用HDFS
qq_44643155的博客
07-25 958
docker搭建分布式HDFS
通过docker-compose安装hadoop
taoruicheng1的博客
12-20 2602
docker-compose的Compose配置文件语法版本有3个版本,分别为1, 2.x 和 3.x。如果不关闭V2版本的话，运行docker-compose命令时会报错：unexpected character “-” in variable name near，执行docker-compose disable-v2解决该问题。4）对于高可用集群，默认会启动两个NameNode，一个是Active NameNode，另一个是Standby NameNode，两个NameNode承担不同角色。
docker搭建hadoop hdfs完全分布式集群
shangcunshanfu的博客
09-07 3103
1 制作hadoop镜像 参见 https://www.cnblogs.com/rmxd/p/12051866.html 该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。 这里注意，在做好的镜像里，要安装 which 工具，否则在执行 hdfs 命令时会报命令不存在异常。 2 启动容器 ``` docker run --name hmaster --hostname hmaster --network hadoop -d -P \ -p 50070:50070 \ -p 50010:500.
【Docker】使用docker-compose极速搭建spark集群（含hdfs集群）
m0_50638181的博客
03-09 6658
【Docker】使用docker-compose极速搭建spark集群（含hdfs集群）
Hadoop Docker 安装
weixin_45526462的博客
07-14 924
准备JDK安装包下载Hadoop，官网提供Source和Binary两种方式，这里采用的是Binary的Hadoop-3.3.3.tar.gz。停服问题准备DockerFile 等待更新… 4 5 6 7 8 9 9docker run -itd --network 网络名 --ip 地址 -p 端口:22 -p 端口:9870 -p 端口:9000 -p 端口:9864 -p 端口:9866 -p 端口:8088 -v /usr/local/docker-data/地址:/usr/local/docker
Docker安装Hadoop
askuld的博客
04-21 1078
注意：这里面三个集群容器均需要修改，可以先在master上修改，然后复制到slave中。查找hadoop-env.sh的安装路径。
docker-compose部署hadoop集群（高可用）—— 筑梦之路
筑梦之路
06-05 1846
hadoop高可用依赖组件zookeeper。
Docker-compose部署Hadoop
Winter的博客
04-20 1676
Docker部署Hadoop的优势Docker部署Hadoop的优势：简化部署流程：使用Docker可以快速部署Hadoop集群，无需手动安装和配置各个组件；提高可移植性：Docker容器可以在不同的环境中运行，保证了Hadoop集群的可移植性；方便管理和维护：Docker提供了一套完整的容器管理和维护工具，可以方便地管理和维护Hadoop集群；节省资源：使用Docker可以避免虚拟化技术带来的性能损失，同时也可以节省硬件资源。Hadoop在Docker中的限制。
参考一下 csdn的文章 "使用 Docker 部署 Apache Spark 集群教程" , 我还需要 hdfs 的环境 ，优化一下 docker-compose.yml
最新发布
03-29
同时，提供启动和停止的指令说明，比如使用docker-compose up -d启动所有服务，docker-compose down停止并清理。 现在，我需要将这些思考整合成一个结构化的docker-compose.yml文件，并确保各服务配置正确，网络...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值