Hadoop集群搭建

最新推荐文章于 2024-04-27 23:53:56 发布

磊猴

最新推荐文章于 2024-04-27 23:53:56 发布

阅读量589

点赞数 1

分类专栏：集群搭建文章标签： hadoop搭建

本文链接：https://blog.youkuaiyun.com/weixin_41870302/article/details/83857500

版权

集群搭建专栏收录该内容

1 篇文章

订阅专栏

Hadoop完全分布式搭建（详）

在搭建前首先我们需要先设计好安装集群规划，即各个角色在集群中各个节点的分配。

本次用的是三台centos操作系统的虚拟机（具体搭建可以网上找，有很多，虚拟机和宿主机的通讯方式我用的是NAT模式），这里我把hdp01作为主节点namenode，hdp01,hdp02,hdp03作为三个从节点datanode，hdp03作为yarn的主节点resourcemanager，hdp01,hdp02,hdp03作为yarn的nodemanager，我们还需要一个助理节点secondarynamenode以防止主节点namenode出故障能帮助主节点数据恢复。

在这里插入图片描述

需要准备的配置（注：这里的配置是三台虚拟机都要配置，这里我用的SecureCRT软件连接虚拟机控制的，这样可以把命令一起发送到3台上）

1.三台虚拟机，都先设置一个普通用户且用户名和密码一样，这里我设置的普通用户名是hadoop
我的三台ip分别是
hadoop01------192.168.2.101
hadoop02------192.168.2.102
hadoop03------192.168.2.103

2.配置好主机映射
vim /etc/hosts
在这里插入图片描述
3.为普通用户设置权限
vim /etc/sudoers

4.关闭防火墙
sudo service iptables stop

5.配置免密登录
在三台机器上生成密钥对-------ssh-keygen
分别把公钥发送到授权池
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

6.测试是否免密成功,如果连接时候不用输入密码即成功
ssh hadoop01
exit
ssh hadoop02
exit
ssh hadoop03
exit
7.进行三台机器的时间同步，这里有两种方法
①手动时间同步：date -s “时间字符串”
②搭建时间同步服务器：可以去网上找现成的（关键字：时间同步服务器），这里我用的 sudo ntpdate ntp1.aliyun.com。

以上完成后准备工作已完成，下面搭建集群

这里我在一个节点上先配置，然后再发送到其他节点。
链接：https://pan.baidu.com/s/1k4ruN9mIbZpkyYvNWO6akw
提取码：y2x8
这是我用的的jdk和hadoop的安装包，需要可以下载
1.上传jdk的安装包，hadoop安装包（在终端按alt+p切换到sftp，直接把包拖进去就行，别把路径忘了，这里我在用户的家目录下创建了个文件夹apps，就把文件放这里），下面这样就是上传成功了，也可以用软件上传，网上也有很多工具在这里插入图片描述
2.同时解压jdk和hadoop，我解压到了当前的目录apps下，解压成功如下图
tar -xvzf jdk-8u73-linux-x64.tar.gz
tar -xvzf hadoop-2.7.6.tar.gz

3.配置jdk和hadoop的环境变量
sudo vim /etc/profile
在文件的最下面加上
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.6
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 在这里插入图片描述
注意之间是用冒号分开的，路径是你们自己的路径，所以刚才解压到哪一定要记住

4.生效配置文件并且查看是否成功，下图为成功，java是1.8的，hadoop是2.7.6的。
生效文件：source /etc/profile
验证：java -version
hadoop version（hadoop验证中间是空格，没有-）
在这里插入图片描述
如果没成功，可能之前虚拟机上的openjdk没删除，需要先删除之前的openjdk，查看openjdk可用 rpm -qa | grep jdk，应该会有两个包，执行命令
rpm -e --nodeps 包名，删除后再把上面的步骤重新试试。

5.接下来配置hadoop的配置文件
我们先到hadoop的目录下的配置文件目录，我的是
/home/hadoop/apps/hadoop-2.7.6/etc/hadoop
应该能看到下面的内容

在这里插入图片描述
①在这里先配置hadoop-env.sh 这是hadoop的依赖环境的配置文件
修改文件里的JAVA_HOME改成这个
export JAVA_HOME=/home/hadoop/apps/jdk1.8.0_73
后面跟的是你自己jdk的路径

②配置core-site.xml文件vim core-site.xml
在configuration标签中间添加如下语句
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/data/hadoopdata</value>
<description>Abase for other temporary directories.</description>
</property>

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
在这里插入图片描述

③配置hdfs-site.xml文件 vim hdfs-site.xml，同样在中间添加如下语句
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/hadoopdata/name</value>
<description>namenode的相关数据文件</description>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/hadoopdata/data</value>
<description>datanode 的数据存储目录</description>
</property>

<property>
<name>dfs.replication</name>
<value>2</value>
<description>HDFS 的数据块的副本存储个数</description>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>hadoop02:50090</value>
<description>secondarynamenode 运行节点的信息，和 namenode 不同节点</description>
</property>
在这里插入图片描述

④配置mapred-site.xml ，这里我们没有这个文件，需要复制，执行命令
cp mapred-site.xml.template mapred-site.xml
然后vim mapred-site.xml，在里面添加如下语句
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
在这里插入图片描述

⑤配置yarn-site.xml文件，vim yarn-site.xml，添加如下语句
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop03</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>YARN 集群为 MapReduce 程序提供的 shuffle 服务</description>
</property>
在这里插入图片描述

⑥配置slaves文件，配置从节点的，这里写从节点的主机名，一行一个，不能有多余的空格或换行
在这里插入图片描述
这样我们已经完成了一个节点的配置，我们再发送到其他节点上，如果其他节点没有这边的目录的话，需要先创建对应的目录，例我之前是创建了apps目录放置安装包，其他两个也得有apps这个目录。

1.传jdk的安装包和hadoop的安装包
scp -r jdk1.8.0_73 hadoop02:/home/hadoop/apps/
scp -r jdk1.8.0_73 hadoop03:/home/hadoop/apps/
hadoop的安装包
scp -r hadoop-2.7.6 hadoop02:/home/hadoop/apps/
scp -r hadoop-2.7.6 hadoop03:/home/hadoop/apps/

2.传配置文件
sudo scp /etc/profile hadoop02:/etc/
sudo scp /etc/profile hadoop03:/etc/

3.另两个节点执行：source /etc/profile
验证：
java -version
hadoop version

以上成功后进行格式化hdfs，注意这里格式化需要在主节点namenode格式化，执行命名：hadoop namenode -format
如果成功能在后面几行看到这句话
INFO common.Storage: Storage directory /home/hadoop/data/hadoopdata/name has been successfully formatted.
一定要注意：如果格式化成功了，一定不要再重新格式化，如果失败了需要重新格式化，具体后面我会说怎么重新格式化。

格式化成功后我们可以在任意节点执行start-dfs.sh命令来启动hdfs，然后在yarn的主节点resourcemanager启动yarn，命令start-yarn.sh，最后通过命令jps可以查看是否启动成功，如果成功应该为下图所示
hadoop01
在这里插入图片描述
hadoop02

hadoop03

网页端的验证
hdfs的网页：
http://namenode的主机名或者ip:50070
http://hadoop01:50070

yarn的网页：
http://resourcemanager的主机或者ip:8088
http://hadoop03:8088

最后提醒大家关机时候先把集群关了，启动集群之前先把防火墙关了。
关闭虚拟机先关闭集群
关闭hdfs：
stop-dfs.sh
关闭yarn：
stop-yarn.sh

重新启动集群：
关闭防火墙
start-dfs.sh
start-yarn.sh

关于格式化的问题

1.可能有的人在格式化的时候会出现下面的类似的错误

在这里插入图片描述
这种需要看错误的信息，提示是哪里出的错，像我上面这个就是在core-site.xml文件里出的问题，这个时候去重新检查文件，是否差标签结束的标识，斜杆等等，修改完后重新格式化。

2.重新格式化，这里先说一下格式化的本质，本质是对主节点namenode进行格式化，生成namenode的数据文件目录，在格式化的时候生成/home/hadoop/data/hadoopdata/name/current（这里的data目录是我们第二步配置时候指定的那个目录）,这个目录存放的就是namenode的核心数据，格式化的时候就在这个目录下生成了一个核心文件，集群标志文件version---------里面有一个记录的就是集群标识的clusterID，而在我们启动datanode时候也会生成这个文件，里面的clusterID是和namenode是一样的，这样才会认为是同一个集群，但是如果我们再重新格式化的时候，他会生成一个新的namenode的数据文件，生成新的clusterID，就会造成datanode的clusterId和namenode的clusterId 不一致，最终造成datanode无法启动。既然知道了原因，那么解决就很简单了，删除掉原来的namenode和datanode的数据文件，记住所有的主从节点都要删，然后在namenode上再格式化。删除文件命令
rm -rf /home/hadoop/data/hadoopdata--------路径你自己设置的位置。