Hadoop2.7 完全分布式搭建文档-优快云博客

本文链接：https://blog.youkuaiyun.com/iteye_16982/article/details/82672824

1. 集群信息如下：

主机名	Hadoop角色	Hadoop jps命令结果	Hadoop用户	Hadoop安装目录
master server152	Master slaves	NameNode DataNode JobTracker TaskTracker SecondaryNameNode	创建相同的用户的组名：hadoop。安装hadoop-2.7.2时使用hadoop用户，并且hadoop的文件夹归属也是hadoop：hadoop	/usr/local/hadoop
slave1 server153	slaves	DataNode TaskTracker
slave2 server154	slaves	DataNode TaskTracker

注：master即使master又是slave.

3台64位centos6.5 + Hadoop2.7.2 + java7

2. 配置服务器的主机名

Namenode节点对应的主机名为server152

Datanode节点对应的主机名分别为server153、server154

3. 编辑每台机器的hosts，以及主机名hostname。 (以server153为例子)

[root@server153 ~]# vi /etc/hosts
192.168.1.152 server152
192.168.1.153 server153
192.168.1.154 server154

[root@server153 ~]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=server153
NETWORKING_IPV6=yes
IPV6_AUTOCONF=no

4. 创建用户组

　groupadd hadoop 添加一个组

　useradd hadoop -g hadoop 添加用户

5. 安装hadoop

下载：http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz

　解压到/usr/local/hadoop/hadoop2.7.2

　 hadoop也要设置环境变量，使用vi /etc/profile命令编辑添加如下内容：

[root@server153 ~]# cat /etc/profile
export HADOOP_HOME=/usr/local/hadoop/hadoop2.7.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

#执行source /etc/profile使配置文件生效
[root@server153 ~]# source /etc/profile

#修改所有者改为hadoop
[root@server153 ~]#chown -R hadoop:hadoop /usr/local/hadoop/

5. SSH设置无密码验证

　a)安装SSH，并让master免验证登陆自身服务器、节点服务器

#执行下面命令，让master节点能够免验证登陆自身服务器
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa >> ~/.ssh/authorized_keys
export HADOOP\_PREFIX=/usr/local/hadoop/hadoop2.7.2

b) 让主结点(master)能通过SSH免密码登录两个子结点（slave）

#为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样当master就可以顺利安全地访问这两个slave结点了
# 在slave的机器上执行一下命令
scp hadoop@server152:~/.ssh/id_dsa.pub  ~/.ssh/id_dsa.pub
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#设置权限，否则ssh依然需要输入密码
chmod -R 700 ~/.ssh

6. 安装Hadoop

解压到/usr目录下面，改名为hadoop。

hadoop也要设置环境变量，使用vi /etc/profile命令编辑添加如下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop2.7.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

7. 配置Hadoop

配置之前，需要在server152本地文件系统创建以下文件夹：

/usr/loacal/hadoop/name
/usr/loacal//hadoop/data
/usr/loacal//hadoop/temp

这里要涉及到的配置文件有7个：

~/hadoop-2.7.2/etc/hadoop/hadoop-env.sh
~/hadoop-2.7.2/etc/hadoop/yarn-env.sh
~/hadoop-2.7.2/etc/hadoop/slaves
~/hadoop-2.7.2/etc/hadoop/core-site.xml
~/hadoop-2.7.2/etc/hadoop/hdfs-site.xml
~/hadoop-2.7.2/etc/hadoop/mapred-site.xml
~/hadoop-2.7.2/etc/hadoop/yarn-site.xml

core-site.xml：

<configuration>
	<property>
	  <name>fs.defaultFS</name>
	  <value>hdfs://server152:9000</value>
	</property>
        <property>  
	  <name>hadoop.tmp.dir</name>  
	  <value>file:/usr/local/hadoop/fs/temp</value>  
	  <description>Abase for other temporary directories.</description>  
        </property>
</configuration>

hdfs-site.xml:

<configuration>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hdfs://server152:9001</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop/fs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/hadoop/fs/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
</configuration>

mapred-site.xml：

<configuration>
	<property>
	  <name>mapreduce.framework.name</name>
	  <value>yarn</value>
	</property>
	<property>
	  <name>mapreduce.jobhistory.address</name>
	  <value>server152:10020</value>
	</property>
	<property>
	  <name>mapreduce.jobhistory.webapp.address</name>
	  <value>server152:19888</value>
	</property>
</configuration>

yarn-site.xml:

<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>server152:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>server152:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>server152:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>server152:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>server152:8088</value>
  </property>
</configuration>

slave.xml:

server153
server154

复制到hadoop 到其他节点:

scp -r /usr/local/hadoop/* hadoop@server153:/usr/local/hadoop/
scp -r /usr/local/hadoop/* hadoop@server154:/usr/local/hadoop/

7.启动hadoop

a) 格式化namenode

[hadoop@server152 hadoop2.7.2] ./bin/hdfs namenode  -format

#看到提示：
#“Exitting with status 0″ 成功，
#“Exitting with status 1″ 失败。

b) 启动hdfs

[hadoop@server152 hadoop2.7.2]./sbin/start-dfs.sh

#server152上面运行的进程有：NameNode  SecondaryNameNode
#server153和server154上面运行的进程有：DataNode
#使用ps -ef|grep hadoop 查看进程

c) 启动yarn

[hadoop@server152 hadoop2.7.2]./sbin/start-yarn.sh
#YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性
#server152上面运行的进程有：NameNode  SecondaryNameNode ResourceManager
#server153和server154上面运行的进程有：DataNode NodeManager
#启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode

[hadoop@server152 hadoop2.7.2]$ jps