Hadoop完全分布式安装，仅供学习测试

Hadoop完全分布式安装，仅供学习测试

• Hadoop版本：hadoop-2.6.0-cdh5.13.1
  http://archive.cloudera.com/cdh5/cdh/5/

• 安装环境，使用 VMware虚拟三台虚拟机，并安装Java环境：

CentOS Linux release 7.4.1708 (Core) 
Linux hadoop1 3.10.0-693.5.2.el7.x86_64 #1 SMP Fri Oct 20 20:32:50 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

• Hadoop集群信息：

hadoop1: nameNode, dataNode, rosourceManager, nodeManager, jobHistory
hadoop2: dataNode, secondNameNode, nodeManager
hadoop3: dataNode, nodeManager

准备工作

• 配置NameNode到DataNode的免密码登录
• 配置ResourceManager到NodeMagager的免密码登录
• 配置环境变量，修改用户目录下的.bash_profile文件，在文件最后加入以下内容

# java
export JAVA_HOME=/home/hadoop/jdk7
export JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin

# hadoop
export HADOOP_HOME=/home/hadoop/hadoop
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH

修改Hadoop配置文件etc/hadoop

• 修改hadoop-env.sh，指定JAVA_HOME

export JAVA_HOME=/home/hadoop/jdk7

• core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/hadoop.data.base.dir</value>
    </property>
</configuration>

• hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop2:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

• mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop1:19888</value>
    </property>
</configuration>

• yarn-site.xml

<configuration>

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop1</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
        <!--表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节
点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。 -->
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>256</value>
        <!--单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理
内存量少于该值，则该对应的值改为这个数。 -->
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
        <!--单个任务可申请的最多物理内存量，默认是8192（MB）。 -->
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
        <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true。 -->
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。 -->
    </property>

    <property>
        <name>yarn.nodemanager.resource.cpu-vcores</name>
        <value>2</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-vcores</name>
        <value>2</value>
    </property>
</configuration>

• slaves，如果每台主机都配置了主机名和ip的映射，那么就可以把主机名配置在此文件，配置的主机为dataNode和NodeManager，即数据存储和计算节点

hadoop1
hadoop2
hadoop3

关于主机名配置和ip映射关系的配置

[root@hadoop1 ~]# ls /etc | grep host
host.conf
hostname
hosts
hosts.allow
hosts.deny
[root@hadoop1 ~]# more /etc/hostname 
hadoop1
[root@hadoop1 ~]# more /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.31.200    hadoop1
192.168.31.201    hadoop2
192.168.31.202    hadoop3

• 在每台主机上修改这两个文件，注意不同的主机主机名不一样

关闭防火墙，不同的系统关闭方式有点区别：

systemctl stop firewalld

使用root用户创建Hadoop数据文件夹，修改所有者，在每台机器上执行同样的操作：

mkdir /hadoop.data.base.dir
chown hadoop:hadoop /hadoop.data.base.dir

初始化NameNode，只执行一次，再次启动集群时不用再执行，在nameNode节点执行

hdfs namenode -format

启支hdfs和yarn，在nameNode节点执行

start-dfs.sh
start-yarn.sh

启动jobHistoryServer， 在jobHistory节点执行

mr-jobhistory-daemon.sh start historyserver

测试

# 创建 HDFS 上的用户目录
hdfs dfs -mkdir -p /user/hadoop
# 将 /home/hadoop/hadoop/etc/hadoop 中的xml文件作为输入文件上传到hdfs
hdfs dfs -put ~/hadoop/etc/hadoop/*.xml input
# 运行一个example，统计字符出现的次数
hadoop jar ~/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output2
# 查看运行结果
hdfs dfs -text output2/*

• 查看hdfs集群信息
  http://hadoop1:50070
• 查看任务信息
  http://hadoop1:8088
• jobHistoryServer
  http://hadoop1:19888

最后如果没有意外则已经成功了，祝你学习愉快。