Hadoop部署，搭建3节点集群

已于 2024-11-07 20:18:26 修改
阅读量1.2k 收藏 15
点赞数 5
CC 4.0 BY-SA版权
文章标签： docker hadoop
于 2024-10-25 10:10:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_51385600/article/details/143209995

YNNU CLOUDCAL TASK FHT

1.创建Spark网络

sudo docker network rm spark_network
sudo docker network create --driver bridge --subnet 172.19.0.0/16 --gateway 172.19.0.1 spark_network

2.软件包准备

把dockerfile文件夹，sm文件夹，sw1，sw2文件夹， hosts文件，sshd_config文件放在/root/beam/work/spark：

sw1,sw2,sm文件夹为空，用于存放相应节点的文件
在这里插入图片描述
docker_file中的Dockerfile：

FROM ubuntu:latest

RUN sed -i 's|http://archive.ubuntu.com/ubuntu/|https://mirrors.tuna.tsinghua.edu.cn/ubuntu/|g' /etc/apt/sources.list

RUN apt-get update -y && apt install -y openssh-server
RUN apt install -y nano vim
RUN echo "root:root" | chpasswd
RUN mkdir /startup
RUN echo "#!/bin/bash\nservice ssh start\n/bin/bash" > /startup/startup.sh
RUN chmod -R 777 /startup/startup.sh

WORKDIR /root/
CMD ["/startup/startup.sh"]

hosts文件：

127.0.0.1	localhost
::1	localhost ip6-localhost ip6-loopback
fe00::0	ip6-localnet
ff00::0	ip6-mcastprefix
ff02::1	ip6-allnodes
ff02::2	ip6-allrouters
172.19.0.2	sm
172.19.0.3	sw1
172.19.0.4	sw2

sshd_config文件：

# This is the sshd server system-wide configuration file.  See
# sshd_config(5) for more information.

Include /etc/ssh/sshd_config.d/*.conf

PermitRootLogin yes

KbdInteractiveAuthentication no


UsePAM no

#AllowAgentForwarding yes
#AllowTcpForwarding yes
#GatewayPorts no
X11Forwarding yes
#X11DisplayOffset 10
#X11UseLocalhost yes
#PermitTTY yes
PrintMotd no


# Allow client to pass locale environment variables
AcceptEnv LANG LC_*

# override default of no subsystems
Subsystem       sftp    /usr/lib/openssh/sftp-server

把Hadoop和jdk压缩包上传到/root/beam/work/spark/opt，然后解压得。
在这里插入图片描述

路径/root/beam/work/spark一会通过 -volume 挂载方式
挂载到3个容器中。

3.节点规划

spark_masterspark_worker_1spark_worker_2
HDFSNameNode
DataNode		DataNodeSecondaryNameNode
DataNode
YARNResourceManagerNodeManagerNodeManager

4.使用Dockerfile创建三个容器

cd /root/beam/work/spark

在/root/beam/work/spark目录：

1.1 spark_master节点

sudo docker run  -itd \
  --name spark_master \
  --hostname sm \
  --net spark_network \
  --ip 172.19.0.2 \
  -v ~/beam/work/spark/sm:/root \
  -v ~/beam/work/spark/hosts:/etc/hosts \
  -v ~/beam/work/spark/sshd_config:/etc/ssh/sshd_config \
  -v ~/beam/work/spark/opt:/opt \
  -p 9870:9870 -p 8089:8089 -p 8080:8080 -p 4041:4040 \
  cc:latest

1.2 spark_worker_1 节点

sudo docker run  -itd \
  --name spark_worker_1 \
  --hostname sw1 \
  --net spark_network \
  --ip 172.19.0.3 \
  -v ~/beam/work/spark/sw1:/root \
  -v ~/beam/work/spark/hosts:/etc/hosts \
  -v ~/beam/work/spark/sshd_config:/etc/ssh/sshd_config \
  -v ~/beam/work/spark/opt:/opt \
  cc:latest

1.3 spark_worker_2 节点

sudo docker run  -itd \
  --name spark_worker_2 \
  --hostname sw2 \
  --net spark_network \
  --ip 172.19.0.4 \
  -v ~/beam/work/spark/sw2:/root \
  -v ~/beam/work/spark/hosts:/etc/hosts \
  -v ~/beam/work/spark/sshd_config:/etc/ssh/sshd_config \
  -v ~/beam/work/spark/opt:/opt \
  cc:latest

注意此处代码：

  --ip 172.19.0.2 \ #指定ip地址
  -v ~/beam/work/spark/sm:/root \ #挂载sm文件夹
  -v ~/beam/work/spark/hosts:/etc/hosts \ #挂载hosts文件
  -v ~/beam/work/spark/sshd_config:/etc/ssh/sshd_config \ #挂载sshd_config文件
  -v ~/beam/work/spark/opt:/opt \ #挂载opt文件里的Hadoop和jdk
  -p 9870:9870 -p 8088:8088 -p 8080:8080 -p 4041:4040 \ #端口映射

如图所示：
在这里插入图片描述

5.免密登录

sudo docker exec -it spark_master /bin/bash

进入sm节点后，

cd ~	# 进入当前用户目录
cd .ssh	# 进入.ssh目录
ssh-keygen -t rsa

运行后生产私钥和公钥文件
在这里插入图片描述

然后把公钥传给其他节点，

ssh-copy-id sm	# 最好对自己也设置一下
ssh-copy-id sw1
ssh-copy-id sw2

然后就可以ssh sw1无密访问其他节点。

对其他节点重复上述操作。

6.配置核心文件

接下来主要是配置四个核心文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
进入/opt/hadoop-3.3.4/etc/hadoop/，依次修改这四个文件

cd /opt/hadoop-3.3.4/etc/hadoop/
6.1 修改core-site.xml
vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->
<configuration>
       <!--指定namenode的地址-->
   <property>
           <name>fs.defaultFS</name>
           <value>hdfs://sm:8020</value>
   </property>
   <!--用来指定使用hadoop时产生文件的存放目录-->
   <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop-3.3.4/tmp</value>
   </property>
   <!--配置HDFS网页登录使用的静态用户为atguigu-->
   <property>
                <name>hadoop.http.staticuser.user</name>
                <value>root</value>
   </property>
</configuration>
6.2修改hdfs-site.xml
vim hdfs-site.xml

<configuration>
	<property>
  		<name>dfs.replication</name>
  		<value>3</value>
	</property>
    <!-- nn web 端访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>sm:9870</value>
	</property>
	
	<!-- 2nn web 端访问地址-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>sw2:9868</value>
	</property>

	<!-- 指定 Hadoop DataNode 存储其数据的目录-->
	<property>
  		<name>dfs.datanode.data.dir</name>
  		<value>file:///opt/hadoop-3.3.4/data/datanode</value>
	</property>

</configuration>

6.3修改yarn-site.xml

vim yarn-site.xml

<configuration>
	<!--nomenodeManager获取数据的方式是shuffle-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
       <!--指定Yarn的老大(ResourceManager)的地址-->     
    <property>
		<name>yarn.resourcemanager.hostname</name>
		<value>sm</value>
    </property> 
	
    <property>
    	<name>yarn.nodemanager.env-whitelist</name>
    	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
	</property>

	<!--yarn总管理器的web http通讯地址-->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>0.0.0.0:8089</value>
    </property>
</configuration>

6.4修改mapred-site.xml文件

vim mapred-site.xml

<configuration>
	<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
	<property>
		  <name>mapreduce.framework.name</name>
		  <value>yarn</value>
   </property>
</configuration>

配置worker

vim /opt/hadoop-3.3.4/etc/hadoop/workers

修改为

sm
sw1
sw2

7.配置环境变量

vim /etc/profile.d/my_env.sh


export JAVA_HOME=/opt/jdk1.8.0_351
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

保存后刷新，然后验证

source /etc/profile
java -version
hadoop

在这里插入图片描述

8.运行

8.1 初始化

 cd /opt/hadoop-3.3.4/
  hdfs namenode -format

8.2 主节点sm运行Hadoop，yarn (spark)

/opt/hadoop-3.3.4/sbin/start-all.sh
/opt/spark-3.3.1-bin-hadoop3/sbin/start-master.sh #可选

9.访问web验证

在这里插入图片描述
直接在docker desktop里点击相应端口
或
https://宿主机ip:9870
或
http://localhost:9870/

在这里插入图片描述

89_4
关注
五分钟，本地搭建3节点Hadoop3集群
CatchLight的博客
06-17 1394
距离唯一一次搭建Hadoop集群，已是六年有余。那时候大数据的学习资料还是我从某宝25买来的，如今大数据已遍地开花。最近想写一些关于大数据的东西，例如Spark、flink等，想放在Yarn上跑，所以就从Hadoop的搭建开始写起。这就是我在虚拟机上搭建Hadoop3的步骤，有兴趣的同学不妨试试！
hadoop3.x集群搭建过程
最新发布
天涯雨的博客
05-19 1001
Hadoop3集群搭建过程
Hadoop3的高可用搭建
Baron_ND的博客
06-21 1767
Hadoop集群作为当今大数据技术的基础数据底座非常重要，尽管部署过程非常复杂，步骤特别多，不过本文尽可能对每一步都做到细致入微，目的是让初学者手把手的照着做，也能正确部署好Hadoop平台，为后续的大数据技术学习，解决一入门就遇到这个高门槛。NameNode高可用[datanode-1、datanode-2]，Journal集群[datanode-1、datanode-2、datanode-3]，ZKFC服务[datanode-1、datanode-2]全部正常启动。
hadoop3.x集群搭建
qq_25542879的博客
04-26 6431
hadoop3.x集群搭建(亲测有效~） 之前集群搭建过hadoop2.6和2.7，但是听说hadoop3.x有新特性，减少了IO的次数，据介绍并行计算能力是spark的10倍。所以，笔者开始尝试搭建，找网上找了好多资料，结合自己的经验，终于搭建成功，花了从虚拟机安装到搭建hadoop框架花了两天时间,着实不容易哈哈。接下来，将一一介绍精简的配置搭建hadoop。 准备步骤 你需要准备3或者3...
HADOOP之3节点集群
weixin_33676492的博客
11-19 219
1.apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译2.本次搭建使用了2.7.1，hadoop2.7.1是稳定版。 3.节点包括了namenode的高可用，jobtracker的高可用，zookeeper高可用集群（后...
Hadoop集群安装（3个节点）
Allenzyg的博客
04-26 2368
1. 网络配置【所有节点】 修改hostname 在每个节点上执行hostname [主机名] 配置网络 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node4 #【每个节点改成相应的hostname】 NETWORKING_IPV6=no PEERNTP=no 保存退出 重启网络服务 service network ......
Hadoop3集群搭建
教Linux的李老师
01-10 1252
Hadoop集群搭建
【大数据】Hadoop三节点集群搭建
睡觉的咖啡
12-26 1890
下载最新的稳定版（例如 Hadoop 3.4.1）。部分，得到 Java 的根目录。用户直接操作，创建一个普通用户（如。节点为主，完成后将同步到其他节点。在所有节点上配置 Hadoop（节点之间能够通过主机名通信。Hadoop 不允许以。
Hadoop+Hive三节点集群环境搭建
weixin_44343217的博客
03-16 620
更改hosts文件在后面添加ip地址和主机名的映射。
Hadoop搭建集群
热门推荐
m0_70405779的博客
08-04 1万+
Hadoop集群部署是为了实现分布式存储和计算，提高大数据处理的效率和性能。1.确定集群规模和硬件资源，选择合适的操作系统和Hadoop版本，进行网络配置，确保集群内各节点之间可以互相通信。2.设置各节点的环境变量，安装和配置Java环境以及其他必要的软件和工具。3.配置Hadoop的核心组件（如HDFS和YARN）和各节点角色（如NameNode、DataNode、ResourceManager、NodeManager等），完成集群的部署。
Hadoop 分布式集群搭建
slb190623的博客
08-25 2197
Hadoop 分布式集群搭建
hadoop3.0集群搭建HA
02-06
hadoop3.0-HA搭建，3节点。关闭防火墙 systemctl stop firewalld.service 关闭防火墙开机启动 systemctl disable firewalld.service 禁用selinux安全 查看状态：sestatus 临时关闭: setenforce 0 永久关闭：vi /etc/sysconfig/selinux SELINUX=disabled
Hadoop三节点集群搭建
mameng1988的博客
11-17 419
免密登录 3个节点分别执行以下命令，获取密钥 ssh-keygen -t rsa 在node001节点上做示范，以下的命令需要在所有节点上执行一遍 ssh-copy-id -i node002 ssh-copy-id -i node003 配置文件 1 core-site.xml <configuration> <!-- 指定hdfs的namenode主机的hostname--...
hadoop3 集群搭建
qq_34125999的博客
12-31 509
【代码】hadoop3 集群搭建。
Hadoop3 集群搭建
大数据开发
02-22 2266
Hadoop3集群
Hadoop3 - 集群搭建
小毕超博客
10-04 2046
集群启动有两种方式，一种是在每台主机中启动相应的组件，另一种 hadoop 为我们提供了一键启停脚本，前提是配置好机器之间的SSH免密登录和workers文件。访问地址：http://resourcemanager_host:8088。访问地址：http://namenode_host:9870。集群，两者逻辑上分离，但物理上常在一起。进行了简单的介绍，并搭建了单机版的。，本篇文章继续搭建集群版本的。三台主机需具备 Java 环境。下面准备在三台服务器上安装。
Hadoop2.7.5 集群搭建3节点
想练武，就得下功夫
03-30 2234
说明： 集群25号搭好，今日凌晨整理完本文方才发布。 （一）准备 首先， 开启本地主机 CPU 虚拟化（主机或笔记本或服务器）【amd 或者 intel 的 CPU 都阔以】 本地安装 vmware 虚拟机，xshell、xftp 工具安装一台 centos7 (64bit)纯净版【1G 内存 20G 硬盘】，无界面版安装步骤链接：https://blog.youkuaiyun.com/frdev...
hadoop三节点搭建
qq_47464005的博客
06-29 988
hadoop搭建
hadoop3 完全分布式集群搭建（一）
吉他程序员的博客
11-15 917
基础概念 1. NameNode 存储文件的元数据。如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限），以及每个文件的块列表和所在的DataNode等。 2. DataNode 具体存储文件块数据，以及数据块校验和。 3. Secondary NameNode(2nn) 每隔一段时间对NameNode元数据备份。 4. ResourceManager 管理整个集群的资源（内存，cpu等）。 5. NodeManager 管理单个节点的资源（内存，cpu等）。 开始搭建
Hadoop2.7.0双节点集群搭建教程与通信配置
本文档详细介绍了如何在两台电脑上搭建Hadoop 2.7.0集群，主要针对Windows主机（Lenovo E420和Lenovo SL410）利用Vmware 10.0虚拟化技术部署Hadoop、Zookeeper以及网络配置的过程。以下是关键知识点的详细阐述： 1....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值