hadoop docker安装部署

最新推荐文章于 2025-01-10 15:07:47 发布
原创 最新推荐文章于 2025-01-10 15:07:47 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #docker

本文详细介绍了如何在Docker环境下安装部署Hadoop，包括前置条件（需要JDK镜像和Hadoop安装包）、解压安装包、修改配置文件（如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml），以及格式化namenode和启动namenode/datanode的过程。通过这些步骤，读者将能够理解如何在容器中搭建和运行Hadoop集群。
前置条件

1.jdk镜像
2.hadoop安装包

解压安装包
tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C /usr/local
cd /usr/local
mv hadoop-2.6.4 hadoop
修改配置文件:
cd hadoop/etc/hadoop

1.首先修改hadoop-env.sh


                

        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
docker搭建hadoop集群（为分布式、完全分布式）

				
			

			

				

					weixin_40548182的博客
				

				

					08-27
					
					1万+
					
				

			

		

		

			
				
第1章 写在前面必读
1.1 Hadoop生态简单说明
说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是

			
		

	



                

            
              



	

		

			

				
					
使用 Docker 部署 Hadoop 集群

					
最新发布

				
			

			

				

					Petmaddox的博客
				

				

					10-08
					
					1385
					
				

			

		

		

			
				
虚拟机（Virtual Machine, VM）是通过软件模拟物理计算机硬件运行环境的程序或系统，允许多个操作系统在同一物理机上同时运行。其通过虚拟化技术抽象物理资源（CPU、内存等），为每个虚拟机提供独立环境，彼此隔离。类型：系统虚拟机（如 VMware、VirtualBox，可运行完整操作系统）和进程虚拟机（如 Java 虚拟机，用于特定应用）。优势：资源利用率高、灵活性强、易于管理，适用于服务器虚拟化、开发测试等场景。VMware 安装保姆级教程。

			
		

	



              


  
              

                


	

		

			

				
					
使用docker部署hadoop集群

				
			

			

				

					upupfeng的博客
				

				

					09-04
					
					5617
					
				

			

		

		

			
				
使用docker快速搭建一主两从的hadoop集群。

			
		

	





	

		

			

				
					
《Hadoop系列》Docker安装Hadoop

				
			

			

				

					https://blog.datasource.space
				

				

					08-09
					
					6920
					
				

			

		

		

			
				
1.安装docker
2.docker安装Hadoop

			
		

	



		

			
		



	

		

			

				
					
docker部署hadoop集群

				
			

			

				

					m0_63790435的博客
				

				

					08-05
					
					2514
					
				

			

		

		

			
				
docker部署hadoop集群；通过Dockerfile方式构建hadoop容器；hadoop职责划分为NameNode、DataNode、NodeManager、ResourceNode、2NN；HDFS、MapReduce、Yarn测试。

			
		

	





	

		

			

				
					
docker部署hadoop

				
			

			

				

					qq_39006905的博客
				

				

					03-05
					
					1663
					
				

			

		

		

			
				
hadoop单节点部docker部署

			
		

	





	

		

			

				
					
Docker 容器部署Hadoop/Hive单机测试环境

				
			

			

				

					04-12
				

			

		

		

			
				
1. 环境准备和基础配置：首先，需要在宿主机上安装Docker环境，并根据部署文档配置相应的版本号和软件包，包括Java JDK、Hadoop、Hive和MySQL。所有的软件包下载完成后，需要解压并放置在宿主机的/opt目录下。  2. ...

			
		

	





	

		

			

				
					
Hadoop Docker 安装

				
			

			

				

					weixin_45526462的博客
				

				

					07-14
					
					970
					
				

			

		

		

			
				
准备JDK安装包下载Hadoop，官网提供Source和Binary两种方式，这里采用的是Binary的Hadoop-3.3.3.tar.gz。停服问题准备DockerFile
等待更新…
4
5
6
7
8
9
9docker run -itd --network 网络名 --ip 地址 -p 端口:22 -p 端口:9870 -p 端口:9000 -p 端口:9864 -p 端口:9866 -p 端口:8088 -v /usr/local/docker-data/地址:/usr/local/docker

			
		

	





	

		

			

				
					
Hadoop Docker容器化部署

				
			

			

				

					lt5227的博客
				

				

					09-15
					
					4646
					
				

			

		

		

			
				
Hadoop Docker容器化部署
我们学习Hadoop的过程中基本使用的是虚拟机，如果能用Docker来部署我们的Hadoop要比安装虚拟机方便多了，而且也便于我们移植我们的Docker镜像。所以这里我就想自己实现一个Hadoop的Docker镜像，通过配置可以在本地搭建一套基于Docker部署的Hadoop单机版本或者是Hadoop集群版本。废话不多说，首先要做的就是写一个Hadoop的Dockerfile出来，而且Hadoop我们使用的是Hadoop 3.2.2，截止到本文的编写该版本还是最新的版本

			
		

	





	

		

			

				
					
docker 搭建hadoop

				
			

			

				

					烂小鱼的博客
				

				

					01-10
					
					1279
					
				

			

		

		

			
				
第一次第一次启动，务必要format一下namenode，后面再启动就不需要format了 hdfs namenode -format # 启动集群 start-all.sh。

			
		

	





	

		

			

				
					
Docker部署hadoop

				
			

			

				

					weixin_45836543的博客
				

				

					02-06
					
					3234
					
				

			

		

		

			
				
Docker配置hadoop集群环境准备功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
环境准备
我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它

			
		

	





	

		

			

				
					
在docker上部署hadoop集群

				
			

			

				

					10-29
				

			

		

		

			
				
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。

			
		

	





	

		

			

				
					
docker部署Hadoop环境

				
			

			

				

					youngturk的专栏
				

				

					06-25
					
					1162
					
				

			

		

		

			
				
https://blog.youkuaiyun.com/qq_40107474/article/details/111292730

			
		

	





	

		

			

				
					
使用docker进行部署hadoop

				
			

			

				

					junsuyiji的博客
				

				

					10-25
					
					2104
					
				

			

		

		

			
				
使用docker进行部署hadoop

			
		

	





	

		

			

				
					
Docker部署Hadoop集群

				
			

			

				

					weixin_52356946的博客
				

				

					11-26
					
					1396
					
				

			

		

		

			
				
Docker部署Hadoop

			
		

	





	

		

			

				
					
使用docker搭建部署hadoop分布式集群

				
			

			

				

					hnhbdss的专栏
				

				

					01-17
					
					4618
					
				

			

		

		

			
				
http://blog.youkuaiyun.com/xu470438000/article/details/50512442

使用docker搭建部署hadoop分布式集群



标签： 
dockerhadoop集群

2016-01-13 18:16 
2005人阅读 评论(1)
收藏 
举报




分类： 
docker 


版权声明：本文为博主原创文章

			
		

	





	

		

			

				
					
Hadoop集群部署（docker）

				
			

			

				

					weixin_43721284的博客
				

				

					06-22
					
					285
					
				

			

		

		

			
				
配置hadoop
在master节点上操作
vi  etc/hadoop/workers  配置集群节点例如

配置的这些文件都在/usr/local/hadoop/etc/hadoop/目录下，一定要注意路径，配置文件中涉及到了路径
1、修改core-site.xml
<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>fi

			
		

	





	

		

			

				
					
Docker安装Hadoop

				
			

			

				

					曾经蜡笔没有小新
				

				

					06-27
					
					1844
					
				

			

		

		

			
				
Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台。
Hadoop 的核心子系统说明如下：

HDFS ： 一个高度容错性的分布式文件系统，适合部署在大量廉价的机器上，提供高
吞吐量的数据访问 。
YARN (Yet Another Resource Negotiator）：资源管理器，可为上层应用提供统一的资
游、管理和调度 ，兼容多计算框架 。
MapReduce ： 是一...

			
		

	





	

		

			

				
					
docker安装部署hadoop单机

				
			

			

				

					02-17
				

			

		

		

			
				
### 安装和部署Hadoop单节点集群于Docker

#### 创建自定义Dockerfile
为了在Docker容器内安装并配置Hadoop单节点环境，创建一个名为`Dockerfile`的文件来指定所需的操作系统基础镜像以及一系列用于设置该环境的指令。

```dockerfile
FROM ubuntu:latest

# 设置工作目录
WORKDIR /usr/local/

# 更新包列表并且安装必要的软件包
RUN apt-get update && \
    apt-get install -y openjdk-8-jdk wget ssh rsync vim && \
    rm -rf /var/lib/apt/lists/*

# 下载并解压Hadoop分发版本至特定位置
ENV HADOOP_VERSION=3.3.0
RUN wget https://archive.apache.org/dist/hadoop/core/hadoop-$HADOOP_VERSION/hadoop-$HADOOP_VERSION.tar.gz && \
    tar xvzf hadoop-$HADOOP_VERSION.tar.gz && \
    mv hadoop-$HADOOP_VERSION/ hadoop && \
    rm hadoop-$HADOOP_VERSION.tar.gz

# 配置环境变量以便命令行工具能够找到Hadoop二进制文件
ENV PATH=$PATH:/usr/local/hadoop/bin/:/usr/local/hadoop/sbin/
ENV HADOOP_HOME=/usr/local/hadoop
ENV HADOOP_MAPRED_HOME=${HADOOP_HOME}
ENV HADOOP_COMMON_HOME=${HADOOP_HOME}
ENV HADOOP_HDFS_HOME=${HADOOP_HOME}
ENV YARN_HOME=${HADOOP_HOME}

# 修改核心站点配置以适应伪分布式模式下的操作需求
COPY core-site.xml ${HADOOP_HOME}/etc/hadoop/core-site.xml

# 调整YARN框架名称属性确保MapReduce作业提交给本地ResourceManager实例处理
COPY yarn-site.xml ${HADOOP_HOME}/etc/hadoop/yarn-site.xml

# 启动SSH服务允许内部通信机制正常运作
EXPOSE 22
CMD service ssh start && bash
```

上述脚本中的`core-site.xml`与`yarn-site.xml`应被预先准备好，并放置在同一路径下供构建过程复制到适当的位置。对于`core-site.xml`, 只需简单地指明临时存储地址即可；而针对`yarn-site.xml`则要特别注意设定`mapreduce.framework.name=yarn`这一项[^3]。

#### 构建Docker镜像
完成Dockerfile编写之后，在同一目录执行如下命令来进行镜像编译：

```bash
docker build -t my-hadoop .
```

这一步骤会读取当前目录里的Dockerfile按照指示逐步组装成一个新的Docker镜像标签为`my-hadoop`.

#### 运行容器启动Hadoop服务
利用刚刚建立好的镜像开启新的交互式shell session:

```bash
docker run -it --name=hadoop-container my-hadoop
```

进入容器后继续初始化namenode元数据结构并格式化它：

```bash
hdfs namenode -format
```

最后依次激活NameNode、DataNode、ResourceManager还有NodeManager组件：

```bash
start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
```

此时便成功搭建起了基于Docker容器技术实现的一个简易版Hadoop单节点实验平台[^1][^2].

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值