Hadoop完全分布式的安装与配置

一、完全分布式安装介绍

真正的分布式，由3个及以上的实体机或者虚拟机组件的机群。
虚拟机名字：HP111(主节点)，HP112，HP113
用户是：root

---

二、关闭防火墙

这是CentOS7版本命令：
systemctl status firewalld.service  -->查看防火墙状态
systemctl stop firewalld.service ---> 如果重启，会重启防火墙
systemctl disable firewalld.service ---> 永久关闭防火墙
永久关闭：
[root@HP111 bin]# systemctl stop firewalld.service
[root@HP111 bin]# systemctl disable firewalld.service 
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

注意：版本不同关闭防火墙命令也不同，下面是我们使用的CentOS6.5版本命令：   
service iptables status -->查看防火墙状态
service iptables stop ---> 如果重启，会重启防火墙
chkconfig iptables off  ---> 永久关闭防火墙

---

三、修改主机名和IP（三台虚拟机都要修改）

提示:最好主机名和IP是连接有顺序而且有主机名一一对应的，如：HP111，HP112，HP113
192.168.231.111
192.168.231.112
192.168.231.113

修改方法的如下

 1.查看主机名：hostname
    临时修改hostname 命令是：hostname  名字
    永久修改hostname
    命令：[root@HP110 tools]# vi /etc/hostname
    HP110 #设置的主机名
    或者[root@HP110hadoop]# hostnamectl set-hostname 名字
    然后reboot重启
    
    centos7之前的版本请用此方法:
    vi /etc/sysconfig/network
    NETWORKING=yes
    HOSTNAME=centos6
    :wq #保存并退出 
   不过永久修改hostname需要重启后生效。
 2.修改IP
    [root@HP110 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33 
    TYPE=Ethernet
    PROXY_METHOD=none
    BROWSER_ONLY=no
    BOOTPROTO=static        #设置成静态IP
    DEFROUTE=yes
    IPV4_FAILURE_FATAL=no
    IPV6INIT=yes
    IPV6_AUTOCONF=yes
    IPV6_DEFROUTE=yes
    IPV6_FAILURE_FATAL=no
    IPV6_ADDR_GEN_MODE=stable-privacy
    NAME=ens33
    UUID=4c6356d3-01cd-44ac-9e6f-67afa7f9b847
    DEVICE=ens33
    ONBOOT=yes    #开机默认开启网络
    IPADDR=192.168.231.110     #IP地址
    GATEWAY=192.168.231.2    #网关
    DNS1=8.8.8.8     #域名解析国内
    DNS2=114.114.114.114      #域名解析国外
    PREFIX=24
    IPV6_PRIVACY=no

然后让修改IP生效：[root@HP110 ~]# service network restart 

---

四、配置主机名和IP的对应关系

配置主机名和IP的对应关系 vi /etc/hosts(所有虚拟机都设置一次或者后面自行scp)
192.168.231.111 HP111
192.168.231.112 HP112
192.168.231.113 HP113

---

五、mkdir 创建目录

-p 父目录不存在情况下先生成父目录
约定： mkdir /opt/software(安装包目录)
mkdir  /opt/module (软件目录)

---

六、安装并配置Hadoop和JDK环境变量(可以在主节点配置后复制过去)

（1）使用tar命令解压
tar  -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module
tar  -zxvf hadoop-2.8.5.tar.gz -C  /opt/module

（2）设置JAVA环境变量：vi  /etc/profile 
JAVA_HOME=/opt/module/jdk1.8.0_191
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
生效环境变量 source  /etc/profile 

（3）设置Hadoop的环境变量: vi  /etc/profile 
HADOOP_HOME=/opt/module/hadoop-2.8.5
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
生效环境变量 source  /etc/profile 

注意linux环境变量和Windows的环境变量一样，分系统环境变量和用户环境变量，系统环境变量对所有用户有效，而用户环境变量只对当前用户有效。 
系统环境变量配置：vi  /etc/profile    保存后执行source /etc/profile立即生效
用户环境变量配置：vi  ~/ .bash_profile  保存后执行 source ~/.bash_profile立即生效
如果既配置了系统环境变量，又配置了用户环境变量，最终会以用户环境变量的配置为准。

---

七、实现免密登录

注意: 全分布环境所有节点机器都要配置并把自己的公钥复制给其他机器实现两两之间的免密码登录
由于每次启动关闭都要输出密码就显得很麻烦，所以就先实现免密登录吧
命令：输入ssh-keygen -t rsa 然后按三次回车

然后复制公钥给自己和其他节点,注意.ssh/id_rsa.pub是这相对/root目录下
ssh-copy-id -i .ssh/id_rsa.pub root@HP111
ssh-copy-id -i .ssh/id_rsa.pub root@HP112
ssh-copy-id -i .ssh/id_rsa.pub root@HP113
这只是示范了其中一个，其余两台别忘了同样操作

---

八、设置所有虚拟机时间同步

可以用Xshell工具同步设置下面所有命令同时进
date -s 2018-10-01
date -s 12:00:00

或者使用ntp方式配置同步时间（推荐）

---

九、修改hadoop文件

进入到 hadoop-2.7.3/etc/hadoop/ 目录下，例如：cd /opt/module/hadoop-2.7.3/etc/hadoop
vi hadoop-env.sh 把 JAVA_HOME 改为本地配置的 JDK 路径 即可
在25行设置： export JAVA_HOME=/opt/module/jdk1.8.0_191

vi core-site.xml
<!--配置HDFS主节点的地址，就是NameNode的地址-->
<!--9000是RPC通信的端口-->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://HP111:9000</value>
	</property>
    
<!--HDFS数据块和元信息保存在操作系统的目录位置-->
<!--默认是Linux的tmp目录,一定要修改-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.3/data/tmp</value>
	</property>
	
<!--配置垃圾回收时间为单位1分钟-->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>

<!--进入垃圾回收站用户名称，默认是dr.who,root用户可以不设置-->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
	</property>


vi hdfs-site.xml
<!--配置数据块的冗余度,默认是3-->
<!--原则冗余度跟数据节点个数保持一致,最大不要超过3-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
    
<!--是否开启HDFS的权限检查，默认是true-->
<!--使用默认值，后面自己可以改为false-->
<!--
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
-->
<!-- 指定Hadoop辅助名称节点主机配置 -->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>HP112:50090</value>
	</property>
    
vi mapred-site.xml 注意：默认没有所以复制一个 cp mapred-site.xml.template mapred-site.xml
<!--MR程序运行容器或者框架-->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
    
vi yarn-site.xml
<!--配置Yarn主节点的位置，可以在从节点，但是启动要在从节点输入命令-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>HP113</value>
	</property>
    
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
    
vi slaves 配置从节点地址
HP111(主节点可以不添加)
HP112
HP113


*配置历史服务器（选择配置）
为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1.配置mapred-site.xml
在该文件里面增加如下配置。
<!-- 历史服务器端地址 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>HP111:10020</value>
	</property>
<!-- 历史服务器web端地址 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>HP111:19888</value>
	</property>
2.启动历史服务器
[root@HP111 ~]# sbin/mr-jobhistory-daemon.sh start historyserver
3.查看历史服务器是否启动
[root@HP111 ~]# jps
4.查看JobHistory
http://HP111:19888/jobhistory
   
   
*配置日志的聚集（选择配置）
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能具体步骤如下：
1.配置yarn-site.xml
在该文件里面增加如下配置。
<!-- 日志聚集功能使能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
   
<!-- 日志保留时间设置7天 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
    </property>
   
   2.查看日志
   http://hadoop101:19888/jobhistory

---

十、复制给其他主机hadoop文件（从节点）

scp -r /etc/profile  root@HP112:/etc/profile （环境变量）
scp -r /opt/module/ root@HP112:/opt/module(安装好的jdk和Hadoop修改好的Hadoop配置文件)
scp -r /opt/software/ root@HP112:/opt/software(安装包)
还有复制给HP13

---

补充：设置回收站详情

十一、对HDFS的NameNode进行格式化 -----> 目录：/root/training/hadoop-2.8.5/tmp

举例：软盘，需要格式化
命令：hdfs namenode -format
日志：Storage directory /root/training/hadoop-2.8.5/tmp/dfs/name has been successfullyformatted.表示格式成功
注意：重复格式化namenode之前需要删除数据tmp和日志logs

---

十二、启动：

HDFS启动：start-dfs.sh
YARN启动: start-yarn.sh（在HP113启动）
全部启动：start-all.sh(值得注意的是全部启动在这会失败，ResourceManager在HP13)
当然自己可以改设置，把ResourceManager设置到HP110主节点上，辅助名称节点SecondaryNamenode没有关系

注意： 第九步修改hadoop文件在主节点操作。然后从主节点把配置好的hadoop复制过去即可。
当然可以参照xsync脚本更加方便，详情请参考
https://blog.youkuaiyun.com/qq_42250913/article/details/88945157