HDFS集群搭建流程简介

a)准备工作：四台linux机器、

装好jdk（一般是压缩包以.tar.gz为后缀）、

配好ip地址（vi /etc/sysconfig/network-scripts/ifcfg-eth0），主机名(vi /etc/sysconfig/network)，域名映射(vi /etc/hosts)，

关闭防火墙(chkconfig iptables off,开机关闭防火墙)、

b)上传安装包（hadoop-2.8.1.tar.gz）到模板机（Linux01）

使用Filezilla程序将压缩包上传到VM workstation Pro 中的模板机（Linux01）

c)解压到家目录下apps文件夹

解压文件：tar -zvf hadoop-2.8.1.tar.gz -C apps/

d)修改配置文件

[root@LINUX01 hadoop]# vi hadoop.env.sh

export JAVA_HOME=/root/apps/jdk.1.8.1_141/

[root@LINUX01 hadoop]# vi hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.rpc-address</name>

<value>LINUX01:9000</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/root/hdpdata/name/</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>LINUX02:50090</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/root/hdpdata/data/</value>

</property>

</configuration>

----->修改hdfs配置文件,包括namenode/secondary namenode/datanode

e)将模板机的安装包使用scp复制给其他机器

scp -r hadoop-2.8.1/ LINUX02:/root/apps/

scp -r hadoop-2.8.1/ LINUX03:/root/apps/

scp -r hadoop-2.8.1/ LINUX04:/root/apps/

f)把namenode的元数据目录初始化

[root@LINUX01 hadoop2.8.1]# bin /hadoop namenode -format

g)一般对于数量众多的机器采用一个批启动脚本

[root@LINUX01 ~]# vi hdfsmg.sh

#!/bin/bash

op=$1

echo "${op}ing namenode on LINUX01"

ssh LINUX01 "/root/app/hadoop-2.8.1/sbin/hadoop-daemon.sh $op namenode"

for i in {1..4}

do

echo "${op}ing datanode on LINUX0$i"

ssh LINUX0$i "/root/app/hadoop-2.8.1/sbin/hadoop-daemon.sh $op datanode"

done

h)hadoop安装包内置了上述脚本，但是需要我们手动修改datanode机器，将datanode列入一个/etc/hadoop/slaves文件

[root@LINUX01 hadoop]# vi slaves

LINUX01

LINUX02

LINUX03

LINUX04

i)[root@LINUX01 hadoop]# sbin/start-dfs.sh启动

[root@LINUX01 hadoop]# sbin/stop-dfs.sh停止