Hadoop集群搭建

已于 2022-04-12 17:13:11 修改
阅读量2.6k 收藏 3
点赞数 1
文章标签： java 后端
于 2022-04-10 20:10:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq1270821038/article/details/124084653
版权
本文详细指导了如何通过VMware克隆配置3台Linux虚拟机，包括设置IP、免密登录、安装并配置Java环境，以及Hadoop的下载、解压、配置文件修改，涉及核心步骤如HDFS、YARN和Hadoop配置。适合Hadoop初学者搭建单机环境和集群环境。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoop集群搭建搭建

1.配置虚拟机

集群环境的搭建需要配置至少3太linux机器

1.1虚拟机搭建：

参考网址：https://www.cnblogs.com/wzHardStudy/p/16126243.html

1.2准备

搭建完一台虚拟机后可以利用VMware自带的克隆功能复制出两台虚拟机.

首先要把目标虚拟机关机！！！

选择虚拟机–>右键管理–>克隆

在这里插入图片描述

在这里插入图片描述

直接下一步下一步

在这里插入图片描述

选择完整克隆

在这里插入图片描述

等待克隆

1.3启动克隆虚拟机

克隆出的虚拟机直接就会现在出来，直接启动即可！

启动后进入系统界面，修改ip地址

centos7.9 文件名叫ens33 可以通过查ip确认自己的！

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

修改完毕重启服务

service network restart

尝试用ssh工具链接

链接不上查看防火墙

查看防火墙状态 systemctl status firewalld
关闭防火墙 systemctl stop firewalld
永久关闭 systemctl disable firewalld

还是有问题查看链接

https://www.cnblogs.com/wzHardStudy/p/16126243.html

2.配置免密登录

https://blog.youkuaiyun.com/u012404692/article/details/106158926

3.配置JAVA环境

hadoop是java写出的大数据框架，所以允许需要java环境

2.1压缩包安装jdk

1.创建一个文件夹专门存放文件

切换至根目录

cd /
创建文件夹 mkdir -p /wz/softwores

2.上传jdk

上传jdk至创建的文件夹下

建议用 xftp直接上传

命令可以用

scp -r 本地文件路径 用户@ip:远程文件路径
scp -p jdk-8u241-linux-x64.tar.gz root@192.168.137.155:/wz/softwares

3.上传完毕解压

查看上传文件  :ls
文件名  :  tar -zvxf 
改名：mv 解压文件名 重命名
删除文件 ： rm 上传的压缩包

4.配置环境变量

进入配置文件： vi /etc/profile

在文件最下方添加（根据自己路径修改）文件名也要根据自己改的名字修改

export JAVA_HOME=/wz/softwares/jdk1.8.0_241
        export PATH=$PATH:$JAVA_HOME/bin
        export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重新加载环境变量文件

source /etc/profile

5.测试：

java -version
java

指令有效则配置完成！

2.2yum安装jdk

3.安装hadoop

3.1上传文件

建议用xftp上传，上传至上面创建的目录，好管理

3.2解压文件

tar -zvxf hadoop文件

3.3改名

mv hadoop文件名 新名

3.4修改hadoop配置文件

hadoop和hive资源地址：https://download.youkuaiyun.com/download/qq1270821038/85116810
进入

cd /wz/softwares/hadoop-3.3.0/etc/hadoop

vim指令没有的话用yum安装

yum install vim -y

修改 hadoop-env.sh

hadoop-env.sh

#文件最后添加
export JAVA_HOME=/wz/softwares/jdk

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

修改core-site.xml

vim core-site.xml

参数根据自身情况修改

以下xml文件配置添加位置都在下图位置：

在这里插入图片描述
如果设置了虚拟机实例名 建议所有地址改为实例名

<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.137.155:8020</value>
</property>

<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/wz/data/hadoop-3.3.0</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

<!-- 文件系统垃圾桶保存时间 -->
<property>
    <name>fs.trash.interval</name>
    <value>1440</value>
</property>

配置：hdfs-site.xml

vim hdfs-site.xml

<!-- 设置SNN进程运行机器位置信息 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.137.156:9868</value>
</property>

mapred-site.xml

<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>192.168.137.155:10020</value>
</property>
 
<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>192.168.137.155:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

yarn-site.xml(如果设置了虚拟机实例名 建议所有地址改为实例名)

<!-- 设置YARN集群主角色运行机器位置 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>192.168.137.155</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>192.168.137.155:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

workers(集群小弟地址)

192.168.137.155
192.168.137.156
192.168.137.157

给hadoop添加到环境变量中

vim /etc/profile
//放到java环境变量下
export HADOOP_HOME=/wz/softwares/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

更新配置：source /etc/profile

完成以上配置就搭建好了单机，如果要集群就把相同配置在另外两台机器上在完成一遍！！！

3.5给另外两台配置

1.建议用scp命令拷贝给另外两台

 scp -r 文件在本地的路径  用户@用户地址：/目标文件夹
例如： scp -r /wz/softwares root@192.168.137.156:/wz

2.不要忘记环境变量配置文件

 scp -r /etc/profile root@192.168.137.156:/etc/profile

3.最后都更新一下配置

source /etc/profile

4.测试

输入java -version测试一下

输入 hadoop 看是否正常

4.启动hadoop

4.1Hadoop集群启动

1.（首次启动）格式化namenode

该命令就首次启动执行，就执行一次！！！！！

hdfs namenode -format

2.脚本一键启动

[root@node1 ~]# start-dfs.sh 
Starting namenodes on [node1]
Last login: Thu Nov  5 10:44:10 CST 2020 on pts/0
Starting datanodes
Last login: Thu Nov  5 10:45:02 CST 2020 on pts/0
Starting secondary namenodes [node2]
Last login: Thu Nov  5 10:45:04 CST 2020 on pts/0

[root@node1 ~]# start-yarn.sh 
Starting resourcemanager
Last login: Thu Nov  5 10:45:08 CST 2020 on pts/0
Starting nodemanagers
Last login: Thu Nov  5 10:45:44 CST 2020 on pts/0

Web UI页面

HDFS集群：192.168.137.155:9870/

YARN集群：192.168.137.155:8088/

HDFS集群启动方式

启动HDFS:start-dfs.sh
停止HDFS：stop-dnf.sh

YARN集群启动方式

启动HDFS:start-yarn.sh
停止HDFS：stop-yarn.sh

Hadoop集群启动方式（把上面两个合在了一起）

启动Hadoop:start-all.sh
停止Hadoop：stop-all.sh

4.2可能错误

错误1:运行hadoop3官方自带mr示例出错。

错误信息
Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
​Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:




<property>  <name>yarn.app.mapreduce.am.env</name>  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value></property><property>  <name>mapreduce.map.env</name>  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value></property><property>  <name>mapreduce.reduce.env</name>  <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value></property>

解决 mapred-site.xml,增加以下配置

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

4.3错误三

如果启动hadoop实例时报错，拒绝连接
在这里插入图片描述1.首先可能hadoop是版本问题

apache版和CDH版，两个版本的hdfs端口冲突，apache版的是9000，cdh版的是8020，修改cdh版的hdfs端口为9000即可！

这个根据自身情况修改

vi /etc/hadoop/conf/core-site.xml

如果是apache
修改core-site.xml文件端口设置为9000
adh设置为8020
<property>
    <name>fs.defaultFS</name>p
 <value>hdfs://192.168.137.155:9000</value>
</property>

在这里插入图片描述2.是因为yarn配置有问题

给你的服务器实例改名 ,把里面内容删除，起一个名字（这个名字下面会用到）

vim /etc/hostname

在这里插入图片描述

vim yarn-site.xml
如果你原来配置vaule是路径改为 节点名字
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node1</value>
</property>

补充：

vim /etc/hosts

在这里插入图片描述
把你集群节点名字 地址也加上！

重启hudoop服务，重新允许测试实例

stop-all.sh
start-all.sh

如果还有问题（确保是NAT）模式搭的集群，进入物理机（windowsz主机）网络适配器，ipv4 选择共享–>设置–>添加hudoop需要的端口

qq1270821038
关注
大数据之Hadoop平台的搭建
qq_74137843的博客
07-09 2429
三台虚拟机。
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 1316
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
hadoop搭建
weixin_50691399的博客
11-21 2014
本文主要是hadoop搭建相关知识
hadoop高可用集群搭建
最新发布
一位懵懂的少年
04-07 1467
（在第一台机器上的/opt/module/hadoop-3.1.3下执行该命令）然后jps查看是否启动，如图。（在第一台机器上的/opt/module/hadoop-3.1.3/bin下执行该命令）然后在第一台机器上的/opt/module/hadoop-3.1.3下执行该命令。（三台机器依次启动，在/opt/module/zookeeper-3.3.5下）（在第一台机器上的/opt/module/hadoop-3.1.3下执行该命令）中间会出现让你输入密码的情况 在password 后输入123456。
Hadoop搭建
weixin_51524477的博客
04-19 194
如何搭建hadoop
Hadoop平台搭建
2401_88337518的博客
04-06 988
先关闭创建好的第一台虚拟机找到第一台虚拟机开始克隆此操作重复两次 ，完成两台虚拟机创建。
3.基于hadoop集群搭建hbase
06-17
### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...
hadoop集群搭建(超级详细)
10-11
在大数据领域，Hadoop是一个广泛使用的开源框架，用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程，按照步骤执行，可以轻松掌握Hadoop集群搭建技术。
hadoop集群搭建_centos7配置静态IP
01-07
1.网络配置 设为NAT模式 虚拟机中选中节点,设置–>虚拟机设置—>网络适配器—>NAT模式 2.网络配置 打开虚拟机 ,选中需要修改的节点,步骤如下: 编辑—>虚拟网络编辑器—>VMnet8(NAT模式)—>移除...如果是集群配置,其
最详细的Hadoop环境搭建
09-30
最详细的Hadoop环境搭建
hadoop平台搭建
qq_47468106的博客
07-08 465
Hadoop是一个分布式系统基础框架，它的 HDFS 、 MapReduce 、 HBase 分别是Google的GFS、MapReduce、BigTable这三个思想的实现。特点：高可靠。按位存储和处理数据的能力强，可靠性强。 高可用。它是在计算机集群间分配数据并完成计算任务的，这些集群可以扩展数以千计的节点。 高效性。能在节点间动态地移动数据，并保证各个节点的动态平衡，所以处理速度非常快。 高容错性。能够自动保存数据的多个副本。Hadoop部署方式分三种：1、Standalone mode（独立模式）
hadoop的搭建教程
qq_58105740的博客
09-08 1320
hadoop搭建教程（完全分布式）
hadoop搭建教程
Li_and_Li的博客
04-15 512
    最近准备学习一些大数据的入门知识，当然是从搭建环境开始了，下面我把我搭建hadoop的步骤以及遇到的一些问题写在下边。    搭建前的准备：    centos7环境    jdk环境    ssh免密登录    用户组    准备好以上几步之后就可以搭建hadoop了。    安装centos的步骤就不在这里赘述了。    jdk环境如果centos操作系统自带的话那么找到JAVA_HO...
Hadoop环境搭建
美国梦中国心
06-29 8043
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
hadoop搭建以及配置
大爵爷
03-05 367
hadoop的安装分为三种模式： 1. 本地模式 2. 伪分布式模式 3. 完全分布式模式 本地模式： 本地模式安装 一 官网下载hadoop安装包 ,选择二进制的。 下载 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz 解压 解压到当前目录 tar -zxvf hado...
Hadoop的搭建流程
一个大数据的爱好者
09-04 1800
hadoop的搭建流程
Hadoop环境搭建（全网最详细，保姆级教程）
热门推荐
m0_52931616的博客
07-08 2万+
搭建hadoop单机伪分布式环境
hadoop 集群搭建
03-29
首先，我需要回忆之前学过的Hadoop集群搭建知识，确保步骤正确。记得Hadoop集群通常分为完全分布式模式，需要多台机器，比如hadoop102、hadoop103、hadoop104这样的命名。用户提供的引用里提到了设置这些节点，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值