使用docker部署hadoop集群-手把手复现

原创 最新推荐文章于 2026-09-22 11:10:46 发布 1.4w 阅读 AI写同款
收录于
安装配置教程

当前文章被收录于：

安装配置教程
22 篇文章 43 人学习

超详细安装配置教程，有手就行，学不会来打我。如果文章对你有帮助，记得关注点赞收藏~

订阅专栏 查看详情
大数据

当前文章被收录于：

大数据
11 篇文章 6 人学习

囊括hdoop、Hbase、Oracle等。如果文章对你有帮助，记得点赞收藏关注~

订阅专栏 查看详情
吾仄lo咚锵
吾仄lo咚锵 博客等级 码龄8年 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.4w累计阅读 1.5w+平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要
6万+粉丝186篇原创
关注
使用docker搭建Hadoop Hadoop简介 1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（Hadoop Distributed File System）来执行MapReduce程序的MapReduce引擎。 （1）Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口； （2）Hive是基于Hadoop的一个工具，提供完整的 阅读详情
AI摘要

本文手把手教你如何在Docker环境下搭建CentOS7、JDK1.8和Hadoop3.2的集群，包括镜像创建、网络配置、SSH免密登录以及集群配置等关键步骤，适合初学者实践。

文章目录

在这里插入图片描述

版本

CentOs7
docker20
jdk1.8
hadoop3.2

手把手复现，有手就行。

可以使用虚拟机或服务器，白嫖服务器可参考：
学生党白嫖服务器-不会吧不会吧，你还在买学生机吗？
还可关注左侧公众号领取👈

安装docker

yum update #更新（询问输入y）

yum install -y yum-utils device-mapper-persistent-data lvm2 #安装依赖

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install -y docker-ce #安装docker
 
systemctl start docker #启动docker

docker -v #查看docker版本

在这里插入图片描述
在这里插入图片描述

创建镜像

centos镜像

  1. 拉取centos镜像
docker pull centos

在这里插入图片描述

  1. 配置Dockerfile（ssh服务）
vim Dockerfile
#复制以下内容
FROM centos
MAINTAINER mwf

RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum  install -y openssh-clients

RUN echo "root:123456" | chpasswd #ssh密码可自定义，这里就写123456了
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]
#然后按Esc ：wq保存退出
  1. 生成镜像
docker build -t="centos7-ssh" . #镜像名可自定义
docker images #查看镜像

在这里插入图片描述
至此一个带ssh服务的centos镜像就安好了。

hadoop和jdk镜像

  1. 下载并上传安装包
    JDK
    百度网盘：https://pan.baidu.com/s/1_evTH6WlmXTnpSSAsstV9Q提取码eyu3
    在这里插入图片描述
    hadoop
    百度网盘：https://pan.baidu.com/s/1S9Sqwl3UN9cq2-dSdBGKRQ 提取码ca8s
    在这里插入图片描述

在这里插入图片描述

  1. 配置Dockerfile（jdk+hadoop）
    可以把之前的改名，或直接覆盖，注意版本号和你下载的对应。
mv Dockerfile Dockerfile.centos_ssh
vim Dockerfile
#复制以下内容
FROM centos7-ssh 
ADD jdk-8u281-linux-x64.tar.gz /usr/local/  
RUN mv /usr/local/jdk1.8.0_281 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH

ADD hadoop-3.2.2.tar.gz /usr/local
RUN mv /usr/local/hadoop-3.2.2 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

RUN yum install -y which sudo
#然后按Esc ：wq保存退出
  1. 生成镜像
docker build -t="hadoop" .

在这里插入图片描述

配置网络

设置集群间的网络。

  1. 创建网桥
docker network create --driver bridge hadoop-br

在这里插入图片描述

  1. 启动三台（一主二从）并指定网络
docker run -itd --network hadoop-br --name hadoop1 -p 50070:50070 -p 8088:8088 -p 9000:9000 -p 16010:16010 -p 2181:2181 -p 8080:8080 -p 16000:16000 -p 9020:9020 -p 42239:42239 -p 60000:60000 hadoop
docker run -itd --network hadoop-br --name hadoop2 -p 16020:16020 hadoop
docker run -itd --network hadoop-br --name hadoop3 hadoop

在这里插入图片描述
3. 检查网络情况

docker network inspect hadoop-br

在这里插入图片描述

配置ssh免密登录

  1. 开三个窗口分别启动三个hadoop并配置host
docker exec -it hadoop1 bash #hadoop2、hadoop3
vi /etc/hosts
# 加入以下id和hostname,就是上一个图圈起来的
172.18.0.2 hadoop1 
172.18.0.3 hadoop2 
172.18.0.4 hadoop3

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 设置免密
    三台机器都分别执行以下命令：
ssh-keygen
#一路回车
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1
#输入密码就是前面的123456
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2
#输入密码就是前面的123456
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop3
#输入密码就是前面的123456

在这里插入图片描述

（插播反爬信息 ）博主优快云地址：https://wzlodq.blog.youkuaiyun.com/

  1. 测试
ping hadoop1 
ping hadoop2
ping hadoop3
ssh hadoop1
ssh hadoop2
ssh hadoop3
#记得exit

在这里插入图片描述

配置集群

以下操作在主节点hadoop1上执行即可：

docker exec -it hadoop1 bash#进入hadoop1
mkdir /home/hadoop #创建目录
mkdir /home/hadoop/tmp /home/hadoop/hdfs_name /home/hadoop/hdfs_data
cd /usr/local/hadoop/etc/hadoop/
  1. core-site.xml
#vi core-site.xml
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

在这里插入图片描述
2. hdfs-site.xml

#vi hdfs-site.xml
 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hdfs_name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hdfs_data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop1:9001</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

在这里插入图片描述
3. mapred-site.xml

#vi mapred-site.xml
 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop1:19888</value>
    </property>
    <property>
  		<name>yarn.app.mapreduce.am.env</name>
  		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
 	 <name>mapreduce.map.env</name>
 	 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
	  <name>mapreduce.reduce.env</name>
	  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>

在这里插入图片描述
4. yarn-site.xml

# vi yarn-site.xml
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop1</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
  1. workers
#vi workers
hadoop2
hadoop3

在这里插入图片描述

配置环境变量

以下操作在主节点hadoop1上执行即可：

  1. dfs.sh
cd /usr/local/hadoop/sbin
vi start-dfs.sh#第二行添加如下4句
vi stop-dfs.sh#第二行添加如下4句

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述

  1. yarn.sh
cd /usr/local/hadoop/sbin
vi start-yarn.sh#第二行添加如下3句
vi stop-yarn.sh#第二行添加如下3句

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在这里插入图片描述
3. env.sh

cd /usr/local/hadoop/etc/hadoop
vi hadoop-env.sh#加入下面这句话
export JAVA_HOME=/usr/local/jdk1.8

在这里插入图片描述

  1. 添加变量
export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/bin:/usr/bin:$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin
source ~/.bashrc #执行

也可以写到/etc/profile永久生效
在这里插入图片描述
5. 拷贝
将主节点hadoop1配置拷贝到从节点

scp -r /usr/local/hadoop/ hadoop2:/usr/local/
scp -r /usr/local/hadoop/ hadoop3:/usr/local/

启动测试

在hadoop1下执行

  1. 格式化hdfs
hdfs namenode -format
  1. 启动
start-all.sh

报错记录：cannot execute binary file: Exec format error
jdk环境问题
测试java -version，没有输出的话估计是兼容问题，比如32位系统用64位包或版本不对，输指令uname -m查看版本并下载对应jdk安装即可。

然后测试javac如果没有输出，估计是你的JAVA_HOME配置错了，输入java -version如果是自带的openjdk的话，配置一下就可以了，export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.aarch64（看你的对应路径下名字），如果切到这里面只有一个jre的话，还需要安装对应devel(通过yum search java|grep jdk查看)，如1.8openjdk对应安装yum install java-1.8.0-openjdk-devel.aarch64
然后记得修改上一步第四点的env.sh文件里JAVA_HOME路径。

  1. 测试
jps

在这里插入图片描述
若需要可开启历史服务

mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
开放8088端口，公网ip:8088
在这里插入图片描述

附：重启步骤

exit #退出docker容器
shutdown -r now #重启系统
systemctl start docker #启动docker服务
docker start hadoop1 #启动相应容器
docker start hadoop2
docker start hadoop3
docker exec -it hadoop1 bash #进入主节点
$HADOOP_HOME/sbin/./start-all.sh #启动集群

原创不易，请勿转载（本不富裕的访问量雪上加霜 ）
博主首页：https://wzlodq.blog.youkuaiyun.com/
微信公众号：吾仄lo咚锵
如果文章对你有帮助，记得一键三连❤

标签
#hadoop #docker #centos #大数据 #linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
[零基础]用docker搭建Hadoop集群 [零基础]用docker搭建Hadoop集群，每一步都有详细的解释！ 阅读详情

相关推荐

基于Docker容器快速部署Hadoop-3.1.3分布式集群实战指南

本文提供了一份基于Docker容器快速部署Hadoop-3.1.3分布式集群的实战指南。通过分步详解，指导读者从Docker环境准备、构建基础镜像，到配置Hadoop核心文件并最终启动集群。该方法利用容器技术实现了环境一致性、快速部署和资源高效利用，是搭建可复现大数据学习与测试环境的优雅解决方案。

weixin_29311017的博客 313

【企业级】Docker项目实战：一键部署Hadoop集群（跨物理节点）

此课程是Docker技术+Hadoop技术+ Linux Shell编程的深度综合应用。本课程的成果，自己平时工作学习就能用，可以轻松在自己笔记本上启动10~20个分布式节点！在找工作和面试时，能用它进行演示，展示自己的水平，为自己加分！只用一个命令，就可以实现基于Docker容器的任意节点Hadoop集群的部署，即使是1000个节点的集群，也可以轻松运维。课程内容涉及Docker运行环境构建、Docker常用命令使用、Docker Dockerfile文件编写、Docker镜像构建、Docker存储驱动使用、Docker bridge网络、Docker Overlay网络、基于Docker的分布式集群构建、Hadoop集群构建等多种技术的综合应用。  

Docker+CentOS7实战：5步搞定Hadoop 3.3集群部署（附SSH免密配置）

本文详细介绍了如何在CentOS7系统上使用Docker容器技术，通过5个核心步骤快速部署Hadoop 3.3集群。内容涵盖从定制化镜像构建、Docker网络配置、SSH免密登录设置到Hadoop集群的完整配置与验证，提供了从虚拟机迁移到容器化部署的高效实践方案，显著提升了部署效率和资源利用率。

weixin_29309785的博客 239

超详细的基于docker搭建hadoop集群

基于Docker搭建Hadoop集群

qq_48961214的博客 1万+

Docker化大数据平台实战：从零构建Hadoop、Hive与HBase集群

本文详细介绍了如何使用Docker快速构建包含Hadoop、Hive和HBase的大数据平台，解决传统部署中的环境复杂性和版本兼容性问题。通过Docker compose实现15分钟快速部署，涵盖环境配置、镜像构建、核心组件部署及性能优化技巧，适用于开发测试和教学演示场景。

weixin_27741699的博客 361

Docker+ Hadoop集群搭建避坑指南：从镜像选择到SSH配置全流程

本文提供了一份详尽的Docker+Hadoop分布式集群搭建避坑指南。内容涵盖从官方镜像选择、自定义网络创建、SSH互信配置到核心配置文件修改的全流程，旨在帮助用户构建一个稳定、可复用的本地开发测试环境，有效规避常见部署陷阱。

weixin_28432777的博客 255

Spark集群安装-基于hadoop集群

Spark集群从下载安装到测试，基于docker实现的伪分布式hadoop集群，手把手复现，详细教程，有手就行！

有一分热，发一分光。 6099

docker搭建hadoop集群（为分布式、完全分布式）

第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是

weixin_40548182的博客 1万+

Docker 部署分布式 Hadoop（超详细实战版）

本文详细介绍了使用Docker快速部署Hadoop分布式集群的完整流程。主要内容包括： 环境准备：在CentOS 7系统上安装配置Docker，创建基础镜像并安装必要工具 集群部署：基于基础镜像创建1个Master和2个Slave容器，配置SSH免密登录和主机映射 软件安装：在容器内安装JDK和Hadoop 2.7.2，配置环境变量和核心配置文件 网络配置：设置容器间的通信，包括hosts文件配置和端口映射 该方法相比传统虚拟机部署具有环境隔离、快速重建、镜像复用等优势，特别适合学习和实验环境搭建。通过详细

LinuxSRE、k8s、运维、DBA、大数据 8524

Type-C快充移动电源芯片避坑指南：IP5356配置全流程（支持PD3.0）

本文详细解析了英集芯IP5356芯片在Type-C快充移动电源中的应用，提供了从芯片选型、原理图设计、PCB布局到PD协议调试的全流程实战指南。文章重点剖析了如何避免散热、EMI及协议握手等常见设计陷阱，并分享了量产前的关键测试验证方法，旨在帮助硬件开发者高效打造稳定可靠的快充产品。

weixin_29235525的博客 848

Flutter蓝牙开发实战：flutter_blue_plus核心功能与实现原理剖析

本文深入剖析了Flutter蓝牙开发插件flutter_blue_plus的核心功能与实现原理。文章从源码解析入手，详细讲解了蓝牙状态管理、设备扫描、GATT连接、服务发现以及数据读写等关键流程的实现机制，并分享了实战中的性能调优与常见问题解决方案，帮助开发者高效构建跨平台蓝牙应用。

weixin_29014237的博客 443

Docker部署Hadoop-04-把Hadoop容器导出导入并使用

本文完成把Hadoop容器导出为镜像，导出为磁盘，并在其它电脑上成功运行

IT从业者的成长历程 535

用OpenCV+ROS实现焊接机器人智能纠偏：线激光视觉的算法调参全流程

本文详细介绍了基于OpenCV和ROS的焊接机器人智能纠偏系统全流程。通过线激光视觉系统实时感知焊缝，重点解析了抗干扰图像预处理、改进的Steger算法提取激光条纹中心线，以及从2D像素到机器人基坐标系的完整坐标变换。该系统为应对焊接飞溅、弧光等复杂工况，实现高精度实时路径纠偏提供了从算法优化到工程集成的完整解决方案。

vodka的博客 158

Hadoop+Spark+Zookeeper+Hbase集群搭建

文章目录 （插播反爬信息 ）博主优快云地址：https://wzlodq.blog.youkuaiyun.com/ 原创不易，请勿转载（本不富裕的访问量雪上加霜 ） 博主首页：https://wzlodq.blog.youkuaiyun.com/ 来都来了，不评论两句吗???? 如果文章对你有帮助，记得一键三连❤ ...

有一分热，发一分光。 3576

Linux 使用rm -rf /*命令后，恢复系统方法

Linux 使用rm -rf /*命令后，恢复系统方法 个人学习记录 这里实验环境采用的是radhel7.1的版本： 个人认为核心就是缺失什么组件，就从别的地方复制什么组件过来，先把系统拉起来，再慢慢恢复配置 进入救援模式 1、将/dev/sda两个分区分别挂载看看，里面的内容，有内容的就是根存在的分区 2、ifconfig eno16777777 192.168.8.2 3、从另外一台一样系统的根 。用 tar打包，一个个文件夹拷贝过来 4、到坏系统，scp另外一个系统的etc.tar.gz 5

weixin_43603476的博客 1万+

告别Sourceforge安装器！手把手教你下载MinGW-w64离线包并配置环境变量（Windows 10/11）

本文详细介绍了如何在Windows 10/11系统上通过下载MinGW-w64离线包并配置环境变量，完全绕过Sourceforge安装器的问题。从选择正确的版本、解压到本地目录，到设置系统环境变量和验证编译环境，手把手指导开发者快速搭建稳定的GCC编译环境，解决常见的安装困扰。

weixin_30896825的博客 335

基于Docker Compose快速搭建3节点Hadoop集群实战指南

容器化技术通过将应用及其依赖打包成标准单元，实现了环境的一致性与快速部署，其核心原理在于利用操作系统级虚拟化提供隔离的运行环境。Docker作为主流容器引擎，凭借其轻量、可移植的特性，在DevOps和微服务架构中展现出巨大技术价值。Docker Compose作为多容器应用编排工具，通过声明式YAML文件简化了复杂分布式系统的定义与管理流程。这一技术组合特别适用于大数据平台等需要多组件协同的场景，能够显著提升开发测试环境的搭建效率与可复现性。本文聚焦于利用Docker镜像和Docker Compose编排，

weixin_34341229的博客 438

BambuStudio学习笔记：GCode 类

关键成员解析 核心配置组件 状态跟踪系统 功能模块集成 核心方法剖析 主输出管道 实现多阶段处理： 分层处理流程： 实现智能路径规划： 关键特性： 实现模板故障检测： 采用三级流水线： 支持扩展类型： 实现多通道输出： 采用： 实现： 支持： 支持模块化编译： 典型流程： 实现功能：

zzzkk2009的专栏 927

基于Docker快速部署Hadoop-3.1.3集群的完整实践指南

本文提供了一份基于Docker快速部署Hadoop-3.1.3集群的完整实践指南。通过容器化技术，详细讲解了从环境准备、构建Hadoop-ready镜像到一键启动集群的完整流程，解决了传统部署中环境不一致、配置繁琐的痛点，为开发、测试和学习构建了一个稳定、可重复且易于管理的Hadoop集群环境。

c2d3e4f的博客 584

手游功耗优化：从猜想到硬核实测

功耗本质是“硬件在吃电”，要看电流/功率曲线，而不是只看帧率和温度；定量 = 有数字、有曲线、有对比能说“降了 15%”、“峰值从 7W 降到 5.5W”，而不是“我感觉凉快点”；工具方面：大厂会用外接功率仪 + 手机/芯片厂内部平台；平时也会用 Android/iOS/引擎自带的工具做趋势分析；流程上：选典型机型和场景 → 跑脚本采集 → 对齐 Profiler 数据 → 分析 CPU/GPU/网络谁在吃电；再通过版本对比、画质/帧率组合测试，指导配置和优化。这是一个。

本博客聚焦游戏开发技巧、创业实战心得及大学热门课程干货。这里既有技术深度，也有思维广度，无论你是开发者、创业者还是高校学子，都能在这里找到适合自己的成长之路！ 174

基于卷积神经网络的球罐结构损伤识别

球罐结构损伤识别方法研究 摘要：本研究针对球形储罐(球罐)结构健康监测需求，提出基于卷积神经网络(CNN)的损伤识别方法。通过ANSYS有限元仿真构建包含5种裂纹深度的500组振动信号数据集，设计包含卷积层、池化层和全连接层的CNN网络架构。实验结果表明，该方法在训练集和测试集上分别达到98.4%和96.0%的准确率，验证了其在球罐焊缝损伤识别中的有效性。研究提供了完整的MATLAB实现代码，为球罐结构智能化监测提供了技术参考。 关键词：球罐结构；卷积神经网络；损伤识别；振动信号；深度学习

AI的内部世界的博客 120

Docker Hadopp集群版部署搭建及常规问题解疑

本文详细介绍了Hadoop集群开发环境的搭建与交通数据处理流程。主要内容包括：1）通过Docker快速部署Hadoop集群，配置Windows开发环境（Eclipse+winutils）；2）HDFS文件操作实践；3）Eclipse连接Hadoop集群并导入依赖包；4）编写MapReduce程序实现交通流量统计，包含Mapper、Combiner和Reducer组件；5）Jar包导出与容器内运行。文章特别对比了Docker环境与生产环境的差异，指出Docker网络隔离特性导致Windows开发机无法直接访问

m0_56659620的博客 262

蓝牙模块HM-10手册

蓝牙模块HM-10手册，该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Docker容器化部署Hadoop分布式集群：从零到实战的完整指南

在大数据基础设施领域，分布式集群的搭建与运维往往面临环境复杂、资源开销大、部署周期长等痛点。传统方式需要手动配置多台机器的操作系统、JDK、SSH免密及大量XML参数，任何环节出错都可能导致整个集群瘫痪。容器化技术通过共享宿主机内核、封装环境依赖、支持秒级销毁重建，为集群部署提供了更轻量、更一致的解决方案。Docker容器能够大幅降低资源占用，保持环境一致性，并实现一键式启停与快速扩容，尤其适合本地开发测试、课程实验和技术方案验证。本文基于Docker构建一主两从的Hadoop分布式集群，覆盖镜像制作、网络

weixin_33836874的博客 205

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

IEM模型，地表粗糙度模拟

利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟

用Docker快速搭建Hadoop分布式集群：从镜像构建到跑通WordCount

大数据处理离不开分布式集群，而Hadoop作为经典的分布式框架，一直是学习与实践的核心。传统虚拟机方式搭建Hadoop环境耗时费力，容器化技术则提供了更轻量、可复现的解决方案。Docker通过镜像封装系统、JDK、Hadoop及SSH免密配置，结合Compose编排实现一键拉起多节点集群，让环境准备从“小时级”压缩到“分钟级”。本文从基础概念出发，讲解Docker与Hadoop的结合原理，并给出完整的镜像构建、配置调优、集群启动与验证流程。适合需要快速搭建实验环境、准备面试或验证分布式理论的开发者，帮助读者

weixin_34301132的博客 264

Apache Flink 基于 Docker 与 Docker Compose 的集群部署完整指南

本文是 Apache Flink 官方部署文档中 *Docker Setup* 一节的深度展开，系统讲解如何利用官方 Flink 镜像在本地 Docker 与 Docker Compose 环境中搭建 **Session 集群** 与 **Application 集群**，涵盖快速启动、三种作业产物（job artifacts）注入方式、`standalone-job` 命令行参数、镜像 Tag

gitblog_00879的博客 351

别再手动配环境了！用Docker Compose一键部署Hadoop 3.x集群（附完整YAML文件）

本文详细介绍了如何使用Docker Compose快速部署Hadoop 3.x集群，告别繁琐的手工配置。通过自定义镜像和优化的YAML文件，实现一键启动包含NameNode、DataNode和ResourceManager的完整集群，大幅提升开发测试效率。方案特别适合需要快速搭建Hadoop环境的开发者，附完整配置文件和实用技巧。

weixin_30920513的博客 249
上一篇： 设计模式-代理模式（静态代理、动态代理、cglib代理）
下一篇： 使用docker部署hbase-简单三步足矣
点赞 77
评论 15
书签 书签 122
吾仄lo咚锵
吾仄lo咚锵 优质创作者: Java技术领域 优质创作者: Java技术领域 领域专家: 算法与数据结构技术领域 领域专家: 算法与数据结构技术领域
博客等级 码龄8年 6万+粉丝 186原创
+ 关注 专栏目录 订阅专栏
评论 15
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吾仄lo咚锵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值