Hadoop完全分布式搭建

本文详细介绍了在CentOS7系统中,使用Hadoop2.9.2搭建完全分布式集群的步骤,包括准备虚拟机、修改IP和主机名、安装必要软件、配置Hadoop和JDK、设置环境变量、配置主机名和Hadoop配置文件、关闭防火墙、克隆虚拟机、修改克隆后的IP和主机名、配置SSH免密登录、启动和停止Hadoop集群以及一些额外的辅助操作。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本次搭建是基于centos7、Hadoop2.9.2进行搭建

1、先准备一台虚拟机

2、修改IP

  1. #>vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.101
NETMASK=255.255.255.0
GATWAY=192.168.159.2
DNS1=192.168.159.2

重启网卡服务
#>systemctl restart network
ping 一下百度
#>ping www.baidu.com
在Windows中的cmd里ping一下刚刚配置的IP地址
$>ping 192.168.159.101
如果两个都能ping通,那么证明网络配置没问题。
这时可以使用xShell链接虚拟机进行搭建

3、修改主机名

#>hostnamectl set-hostname hadoop01

4、安装必要的软件

#>yum install vim
#>yum install net-tools

5、将Hadoop和jdk拷贝到Hadoop01

我所使用的事filezille进行拷贝

  1. 创建文件夹方便管理
    #>mkdir /opt/module
  2. 上传文件
  3. 解压文件
    #>tar -zxf hadoop-2.9.2.tar.gz
    #>tar -zxf jdk-8u201-linux-x64.tar.gz
  4. 删除tar包
    #>rm -rf hadoop-2.9.2.tar.gz
    #>rm -rf jdk-8u201-linux-x64.tar.gz
  5. 在/opt目录下创建符号链接方便管理
    #>cd /opt
    #>ln -s /opt/module/hadoop-2.9.2 hadoop
    #>ln -s /opt/module/jdk1.8.0_201 jdk

6、配置环境变量

#>vim /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

##JAVA_HOME
export JAVA_HOME=/opt/jdk
export PATH=$PATH:$JAVA_HOME/bin

生效环境变量
#>source /etc/profile
测试环境变量
#>java -version

#>hadoop version

 

7、配置Hadoop的主机名的全局变量

#>vim /etc/hosts

8、修改Hadoop的配置文件

#>cd /opt/hadoop/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/opt/jdk

vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01/</value>
    </property>
</configuration>

vim hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/root/dfs/name/</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/root/dfs/data</value>
    </property>
</configuration>

vim yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop01</value>
         </property>
         <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        <property>
</configuration>

vim slaves

hadoop02
hadoop03
hadoop04

9、关闭防火墙

#>systemctl stop firewalld
#>systemctl disable firewalld

10、关机,进行克隆

由于我配置的是四台虚拟机,所以需要克隆三台

11、修改克隆的四台IP

使用xShell连接

12、修改每一台主机的主机名

#>hostnamectl set-hostname hadoop02
#>hostnamectl set-hostname hadoop03
#>hostnamectl set-hostname hadoop04

13、配置ssh免密登录

#>cd ~/.ssh

在hadoop01主机上生成密钥对

  • #>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

在Hadoop02-04上创建.ssh的文件夹

  • #>mkdir ~/.ssh

将hadoop01的公钥文件id_rsa.pub远程复制到hadoop01、hadoop02、hadoop03、hadoop04,并放到/root/.ssh/authorized_keys

  • #>scp id_rsa.pub root@hadoop03:/root/.ssh/authorized_keys

使用ssh登录每一台机器看看需不需要密码,如果不需要密码就配置成功

  • #>ssh hadoop02

14、启动Hadoop集群

#>start-all.sh
停止Hadoop集群
#>stop-all.sh

15、一些杂项

启动Hadoop后可以使用jps查询进程

这是namenode该有的进程

这是其他datanode该有的进程

使用脚本一键查询jps

在每一台虚拟机上创建符号连接

#>ln -s /opt/jdk/bin/jps /usr/local/bin/jps

查询出来的效果

关于脚本我会在下载中分享我的脚本,或者自己写

脚本地址:https://download.youkuaiyun.com/download/xiaolong_xiaohuihui/11058937

结语,Hadoop集群配置到这结束了,启动Hadoop时出现问题,就去/opt/hadoop/logs下查看相对于的日志文件,发现错误到百度查询相对应的解决方案

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值