hadoop入门笔记-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_52467050/article/details/127786628

本文详细介绍了如何在CentOS7.6环境下搭建Hadoop集群，包括虚拟机配置、集群分发脚本xsync的编写、SSH无密码登录、Hadoop环境变量配置、HDFS和YARN的配置及启动、历史服务器和日志聚集的设置，以及集群的启停脚本和监控脚本的编写。此外，还提到了一些常见问题的解决方案和关键端口的说明。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 准备工作

1.1 创建虚拟机centos7.6

1.2 配置ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

输入

IPADDR=192.168.74.102
GATEWAY=192.168.74.2
DNS1=192.168.74.2
ZONE=public

1.3 配置主机名

vim /etc/hostname

输入

hadoop100

1.4 配置ip地址映射

vim /etc/hosts

输入

192.168.74.100 hadoop100
192.168.74.101 hadoop101
192.168.74.102 hadoop102
192.168.74.103 hadoop103
192.168.74.104 hadoop104
192.168.74.105 hadoop105
192.168.74.106 hadoop106
192.168.74.107 hadoop107
192.168.74.108 hadoop108

window在C:\Windows\System32\drivers\etc/host进行相同配置

1.5 克隆主机

对主机进行克隆，并修改每台虚拟机的ip地址和主机名

1.6 安装hadoop并配置环境变量

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module

配置环境变量

export HADOOP_HOME=/opt/module 
export $PATH:$HADOOP_HOME/bin
export $PATH:$HADOOP_HOME/sbin

2. Hadoop运行

2.1 编写集群分发脚本xsync

2.1.1 scp安全拷贝

定义

实现服务器与服务器之间的数据拷贝

语法

scp -r #pdir/#fname #user@#host:#pdir/#fname
命令 递归 要拷贝的文件路径/名称  目的地用户@主机:目的地路径/名称

将hadoop102上的hadoop-3.1.3拷贝到hadoop103

scp -r /opt/module/ root@hadoop103:/opt/module/hadoop-3.1.3

在hadoop4上将hadoop102中的hadoop-3.1.3拉取到本地

scp -r atguigu@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/

2.1.2 rsync远程同步工具

定义

主要用于备份和镜像，具有速度快、避免赋值相同的内容和支持符号链接的优点

rsync和scp区别

用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

基本语法

rsync    -av       $pdir/$fname             $user@$host:$pdir/$fname
命令   选项参数   要拷贝的文件路径/名称   目的地用户@主机:目的地路径/名称

同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

rsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/

2.1.3 xsync集群分发脚本

需求

循环复制文件到所有节点的相同目录下

在/home/root/bin目录下创建xsync脚本文件

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

同步环境变量配置

xsync /etc/profile.d

2.2 ssh无密码登录配置

2.2.1进行ssh连接

基本语法

ssh hadoop103
命令 主机名

2.2.2无密钥配置

原理

在这里插入图片描述

生成公钥和私钥(使用非root用户进入到 /home/user/.ssh中操作)

ssh-keygen -t rsa

四次回车后就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104

2.3 集群配置

2.3.1 注意

NameNode和SecondaryNameNode不要安装在同一台服务器
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

	hadoop102	hadoop103	hadoop104
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

2.3.2配置集群

配置文件目录

/opt/module/hadoop-3.1.3/etc/hadoop

配置core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为fan -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>fan</value>
    </property>
</configuration>

HDFS配置文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

YARN配置文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

MapReduce配置文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

2.3 群起集群

2.3.1 配置workers

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

修改为以下内容，文件中不能有空格

hadoop102
hadoop103
hadoop104

同步所有节点配置文件

xsync /opt/module/hadoop-3.1.3/etc

2.3.2 启动集群

如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）**

hdfs namenode -format

启动HDFS

sbin/start-dfs.sh

在配置了ResourceManager的节点（hadoop103）启动YARN

sbin/start-yarn.sh

Web端查看HDFS的NameNode

浏览器中输入：http://hadoop102:9870

Web端查看YARN的ResourceManager

浏览器中输入：http://hadoop103:8088

输入jps查看运行状态

2.3.3出现的问题

root用户启动失败

在start-dfs.sh和stop-dfs.sh文件顶部添加以下内容

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh和stop-yarn.sh文件顶部添加以下内容

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

分发到集群中

xsync start-dfs.sh
xsync stop-dfs.sh
xsync start-yarn.sh
xsync stop-yarn.sh

启动时出现

JAVA_HOME is not set and could not be found

进入到hadoop安装目录下的$HADOOP_HOME/etc/hadoop 目录下，编辑vim hadoop-env.sh

添加如下内容

export JAVA_HOME=/usr/lib/java/jdk1.8.0_341

分发到集群中

xsync hadoop-enc.sh

2.4 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。

配置mapred-site.xml

vim mapred-site.xml

添加如下配置

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

分发配置

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

启动历史服务器

mapred --daemon start historyserver

查看JobHistory

http://hadoop102:19888/jobhistory

2.5 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

在这里插入图片描述

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

配置yarn-site.xml

vim yarn-site.xml

添加如下配置

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

分发配置

xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

关闭NodeManager 、ResourceManager和HistoryServer

sbin/stop-yarn.sh
mapred --daemon stop historyserver

启动NodeManager、ResourceManage和HistoryServer

start-yarn.sh
mapred --daemon start historyserver

删除HDFS上已经存在的输出文件

hadoop fs -rm -r /output

执行WordCount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

查看日志

http://hadoop102:19888/jobhistory

在这里插入图片描述

2.6 编写Hadoop集群常用脚本

Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh

cd /home/root/bin
vim myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

保存后退出，然后赋予脚本执行权限

chmod +x myhadoop.sh

运行和关闭hadoop

myhadoop.sh start
myhadoop.sh stop

查看三台服务器Java进程脚本：jpsall

vim jpsall

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host /usr/local/jdk1.8.0_341/bin/jps 
done

保存后退出，然后赋予脚本执行权限

chmod +x jpsall

使用脚本

jpsall

xsync /root/bin/

2.7 常用端口号说明

端口名称	Hadoop2.x	Hadoop3.x
NameNode内部通信端口	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
MapReduce查看执行任务端口	8088	8088
历史服务器通信端口	19888	19888