HADOOP3.x入门之集群安装

1. 创建用户：

root用户登录linux系统，增加hadoop账户
#添加hadoop账号
sudo adduser hadoop
#允许hadoop账号在不输入密码的情况下使用所有命令
sudo vim /etc/sudoers
#增加内容如下：
hadoop ALL = (ALL)ALL
#给hadoop用户创建目录，并添加到sudo用户组中，命令如下：
sudo chown hadoop /home/hadoop
#添加到sudo用户组
sudo adduser hadoop sudo
#passwd hadoop 设置密码

2.关闭防火墙

systemctl stop firewalld.service 关闭 防火墙
systemctl disable firewalld.service 禁止防火墙开机自启

3.配置linux免密登陆：

#生成.ssh相关秘钥文件
ssh-keygen -t rsa
#进入秘钥文件夹
cd ~/.ssh
#拷贝公钥到远程服务器，之后就可以免密登陆了
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.10.152
或是 scp -p ~/.ssh/id_rsa.pub hadoop@192.168.10.152:/root/.ssh/authorized_keys

4.配置主机名，ip和主机名绑定：

#配置主机名
vi /etc/sysconfig/network
#增加如下内容：
HOSTNAME=master
#修改内容生效
source /etc/sysconfig/network
#ip与主机名绑定
vi /etc/hosts
增加 如下内容
192.168.10.151 master
192.168.10.153 slave1
192.168.10.152 slave2
#修改内容生效
source /etc/hosts

克隆主机的ip配置：
ifconfig ens33:0 192.168.10.153 netmask 255.255.255.0  up

安装jdk、hadoop，此处省略

6.配置环境变量

vi /etc/profile
#添加如下信息
export JAVA_HOME=jdkpath
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=$hadooppath
export PATH=$HADOOP_HOME/bin:$PATH

#文件生效
source /etc/profile

7.修改hadoop环境变量：

#hadoop配置java_home
vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export JAVA_HOME=$jdkpath

#修改core-site.xml:
vi $HADOOP_HOME/etc/hadoop/core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoopdata</value>
    </property>
	<property>
	    <name>hadoop.proxyuser.hadoop.hosts</name>
	    <value>*</value>
	</property>
	<property>
	    <name>hadoop.proxyuser.hadoop.groups</name>
	    <value>*</value>
	</property>

#修改hdfs-site.xml
vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

<property>  
    <name>dfs.permissions</name>  
    <value>false</value>  
  </property>
  <property>
    <name>dfs.relication</name>
    <value>3</value>
  </property>

#修改mapred-site.xml
vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

<property>  
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

#修改yarn-site.xml
vi $HADOOP_HOME/etc/hadoop/yarn-site.xml

<property>
        <name>yarn.resourcemanger.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.resourcemanger.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

#修改works文件，配置hadoop集群
vi $HADOOP_HOME/etc/hadoop/workers
#增加hadoop集群主机名
master
slave1
slave2

执行完1-7的所有步骤之后，再克隆虚拟机到另外两个192.168.10.152、192.168.10.153，之后更改后两个虚拟机的主机名、ip、互相拷贝免密登陆的公钥，整个集群即搭建完成

启动hadoop

#格式化namenode
hadoop namenode -format
#启动hadoop
cd $HADOOP_HOME/sbin/
start-all.sh
#查看进程是否正常
jps