Hadoop 完全分布式 Fully-Distributed Mode

本文使用3台虚拟机进行 hadoop 的集群基本配置，zookeeper 和 HA 的配置再另做描述。

集群规划

考虑将 namenode、secondarynamenode、resourcemanager 分开在不同节点上

组件        PC1         PC2                 PC3
HDFS        namenode    secondarynamenode   
            datanode    datanode            datanode
YARN                                        resourcemanager
            nodemanager nodemanager         nodemanager
History     historyserver

基本环境

将伪分布式环境克隆两份，修改网络驱动、主机名，确认基本设置

• vi /etc/udev/rules.d/70-persistent-net.rules 删除克隆来的驱动信息 eth0，将新的 eth1 修改为 eth0，并记录下物理地址
• vi /etc/sysconfig/network-scripts/ifcfg-eth0 更新物理地址、IP地址
• vi /etc/sysconfig/network 修改 hostname
• vi /etc/hosts 相应修改主机映射，此处每台机器都需要将所有机器的映射都添加
• 检查3台机器网络服务可连接、防火墙及安全子系统关闭、具有相同用户名和密码的普通用户、jdk安装正确

主机映射参考如下：

192.168.7.7 oldecho01.domain
192.168.7.8 oldecho02.domain
192.168.7.9 oldecho03.domain

配置 NTP 服务

把 PC1 作为整个集群的时间同步服务器，集群中所有其他服务器都来这台服务器 PC1 同步时间

检查每台服务器所在的时区 date -R，以上海为例应为+0800，如果不对如下调整

rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

安装 ntp 服务，查看ntp软件包是否已安装，如果没有那就需要安装ntp

rpm -qa | grep ntp
ntp-4.2.6p5-1.el6.centos.x86_64
ntpdate-4.2.6p5-1.el6.centos.x86_64

yum  -y install ntp

修改 ntp 配置文件 vi /etc/ntp.conf，去掉第18行的# 修改成自己的网段，并注释“server…”那几行（22行），去掉注释（35、36行）或手动添加如下内容

restrict 192.168.7.0 mask 255.255.255.0 nomodify notrap

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

server 127.127.1.0     #local clock
fudge 127.127.1.0  stratum 10

PC1：同步服务器的时间，启动 ntp 服务

service ntpd stop
ntpdate cn.pool.ntp.org

service ntpd start
chkconfig ntopd on

PC2/3：关闭 ntp 进程，向 PC1 同步时间

service ntpd stop
chkconfig ntpd off

ntpdate oldecho01.domain

制定周期性时间同步计划任务（PC2、PC3定时向PC1同步时间，如每10min）

crontab -e
*/10 * * * * /usr/sbin/ntpdate oldecho01.domain

如果确实无法向第一台同步时间，请在交互窗口（可以同时设置3台时间）执行手动设置时间 date -s "11:48:00 2017/3/23"

配置SSH免密钥登录

3台服务器相互无秘钥登录

cd ~/.ssh/
ssh-keygen
ssh-copy-id oldecho01.domain
ssh-copy-id oldecho02.domain
ssh-copy-id oldecho03.domain

克隆过来的机器如果已经生成过 SSH 秘钥，先删除文件 rm -f ~/.ssh/*

安装 Hadoop

解压安装及 *-env.sh 中java环境支持与伪分布式相同

在 PC1 上进行一下配置

slaves

添加集群中所有主机

oldecho01.domain
oldecho02.domain
oldecho03.domain

core-site.xml

<!--指定第一台作为NameNode-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://oldecho01.domain:8020</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/modules/hadoop-2.5.0/data</value>
</property>

hdfs-site.xml

<!-- 分布式副本数设置为3 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

<!-- secondarynamenode主机名 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>oldecho02.domain:50090</value>
</property>

<!-- namenode的web访问主机名:端口号 -->
<property>
    <name>dfs.namenode.http-address</name>
    <value>oldecho01.domain:50070</value>
</property>

<!-- 关闭权限检查用户或用户组 -->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>oldecho01.domain:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>oldecho01.domain:19888</value>
</property>

yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>oldecho03.domain</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>86400</value>
</property>

将 PC1 配置好的 Hadoop 分发到 PC2/3 上

scp -r /opt/modules/hadoop-2.5.0/ oldecho02.domain:/opt/modules/
scp -r /opt/modules/hadoop-2.5.0/ oldecho03.domain:/opt/modules/

注意先删除原先残留的 data、logs 等（如果有的话）

格式化 namenode

在 PC1(namenode 所在服务器) 上进行 bin/hdfs namendoe -format

启动服务

PC1：sbin/start-dfs.sh

PC3：sbin/start-yarn.sh

停止进程相同