hadoop集群搭建(学习笔记)

1.修改Linux主机名

2.修改IP

3.修改主机名和IP的映射关系

######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）

/etc/hosts里面要配置的是内网IP地址和主机名的映射关系

4.关闭防火墙

5.ssh免登陆

6.安装JDK，配置环境变量等

集群规划：

主机名 安装的软件 运行的进程

hadoop201 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

hadoop202 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

hadoop203 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

hadoop204 jdk、hadoop NameNode、DFSZKFailoverController

hadoop205 jdk、hadoop NameNode、DFSZKFailoverController

hadoop206 jdk、hadoop ResourceManager

说明：

在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，

而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。

在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。

通常配置奇数个JournalNode这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，

当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态

安装步骤：

1.安装配置zooekeeper集群

1.1解压

tar -zxvf zookeeper-3.4.5.tar.gz -C /root/software/

1.2修改配置

cd /root/software/zookeeper-3.4.5/conf/

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改：dataDir=/root/software/zookeeper-3.4.5/tmp

在最后添加：

server.1=hadoop201:2888:3888

server.2=hadoop202:2888:3888

server.3=hadoop203:2888:3888

保存退出

然后创建一个tmp文件夹

mkdir /itcast/zookeeper-3.4.5/tmp

再创建一个空文件

touch /root/software/zookeeper-3.4.5/tmp/myid

最后向该文件写入ID

echo 1 > /root/software/zookeeper-3.4.5/tmp/myid

1.3将配置好的zookeeper拷贝到其他节点(首先分别在itcast05、itcast06根目录下创建一个itcast目录：mkdir /itcast)

scp -r /root/software/zookeeper-3.4.5/ itcast05:/root/software/

scp -r /root/software/zookeeper-3.4.5/ itcast06:/root/software/

注意：修改 hadoop202、hadoop203 对应/root/software/zookeeper-3.4.5/tmp/myid内容

itcast05：

echo 2 > /root/software/zookeeper-3.4.5/tmp/myid

itcast06：

echo 3 > /root/software/zookeeper-3.4.5/tmp/myid

2.安装配置hadoop集群

2.1解压

tar -zxvf hadoop-2.2.0.tar.gz -C /root/software/

2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）

#将hadoop添加到环境变量中

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_55

export HADOOP_HOME=/root/software/hadoop-2.2.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下

cd /root/software/hadoop-2.2.0/etc/hadoop

2.2.1修改hadoo-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_55

2.2.2修改core-site.xml

<configuration>

<!-- 指定 hdfs 的 nameservice 为 ns1 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://ns1</value>

</property>

<!-- 指定 hadoop 临时目录 -->

<property>

<name>hadoop.tmp.dir</name>

<value>/root/software/hadoop-2.2.0/tmp</value>

</property>

<!-- 指定zookeeper地址 -->

<property>

<name>ha.zookeeper.quorum</name>

<value>hadoop201:2181,hadoop202:2181,hadoop203:2181</value>

</property>

</configuration>

2.2.3修改hdfs-site.xml

<configuration>

<!--指定 hdfs 的 nameservice 为 ns1，需要和 core-site.xml 中的保持一致 -->

<property>

<name>dfs.nameservices</name>

<value>ns1</value>

</property>

<!-- ns1 下面有两个 NameNode，分别是 nn1， nn2 -->

<property>

<name>dfs.ha.namenodes.ns1</name>

<value>nn1,nn2</value>

</property>

<!-- nn1的 RPC 通信地址 -->

<property>

<name>dfs.namenode.rpc-address.ns1.nn1</name>

<value>hadoop204:9000</value>

</property>

<!-- nn1的 http 通信地址 -->

<property>

<name>dfs.namenode.http-address.ns1.nn1</name>

<value>hadoop204:50070</value>

</property>

<!-- nn2的 RPC 通信地址 -->

<property>

<name>dfs.namenode.rpc-address.ns1.nn2</name>

<value>hadoop205:9000</value>

</property>

<!-- nn2的 http 通信地址 -->

<property>

<name>dfs.namenode.http-address.ns1.nn2</name>

<value>hadoop205:50070</value>

</property>

<!-- 指定 NameNode 的元数据在 JournalNode 上的存放位置 -->

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop201:8485;hadoop202:8485;hadoop203:8485/ns1</value>

</property>

<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/root/software/hadoop-2.2.0/journal</value>

</property>

<!-- 开启 NameNode 失败自动切换 -->

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<!-- 配置失败自动切换实现方式 -->

<property>

<name>dfs.client.failover.proxy.provider.ns1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->

<property>

<name>dfs.ha.fencing.methods</name>

<value>

sshfence

shell(/bin/true)

</value>

</property>

<!-- 使用sshfence隔离机制时需要ssh免登陆 -->

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>

<!-- 配置sshfence隔离机制超时时间 -->

<property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

<value>30000</value>

</property>

</configuration>

2.2.4修改mapred-site.xml

<configuration>

<!-- 指定mr框架为yarn方式 -->

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

2.2.5修改yarn-site.xml

<configuration>

<!-- 指定 resourcemanager 地址 -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop206</value>

</property>

<!-- 指定 nodemanager 启动时加载 server 的方式为shuffle server -->

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

2.2.6 修改 slaves ( slaves 是指定子节点的位置，因为要在 hadoop204 上启动 HDFS 、

在 hadoop206 启动 yarn ，所以 hadoop204 上的 slaves 文件指定的是 datanode 的位置，

hadoop206 上的 slaves 文件指定的是 nodemanager 的位置)

hadoop201

hadoop202

hadoop203

2.2.7配置免密码登陆 done

#首先要配置 hadoop204 到 hadoop201, hadoop202, hadoop203, hadoop204, hadoop205, hadoop206 的免密码登陆

#在 hadoop204 上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点，包括自己

ssh-copy-id hadoop201

ssh-copy-id hadoop202

ssh-copy-id hadoop203

ssh-copy-id hadoop204

ssh-copy-id hadoop205

ssh-copy-id hadoop206

#配置 hadoop206 到 hadoop201, hadoop202, hadoop203 的免密码登陆

#在 hadoop206 上生产一对钥匙

ssh-keygen -t rsa

#将公钥拷贝到其他节点

ssh-copy-id hadoop201

ssh-copy-id hadoop202

ssh-copy-id hadoop203

#注意：两个 namenode 之间要配置ssh免密码登陆，别忘了配置 hadoop205 到 hadoop204 的免登陆

在 hadoop205 上生产一对钥匙

ssh-keygen -t rsa

ssh-copy-id hadoop204

2.4 将配置好的hadoop拷贝到其他节点

scp -r /root/software/ hadoop205:/

scp -r /root/software/ hadoop206:/

scp -r /root/software/hadoop-2.2.0/ root@hadoop201:/root/software/

scp -r /root/software/hadoop-2.2.0/ root@hadoop202:/root/software/

scp -r /root/software/hadoop-2.2.0/ root@hadoop203:/root/software/

scp /root/software/hadoop-2.2.0/etc/hadoop/hadoop-env.sh root@hadoop205:/root/software/hadoop-2.2.0/etc/hadoop/

###注意：严格按照下面的步骤

2.5 启动 zookeeper 集群（分别在 hadoop201, hadoop202, hadoop203 上启动zk）

cd /root/software/zookeeper-3.4.5/bin/

./zkServer.sh start

#查看状态：一个leader，两个follower

./zkServer.sh status

/root/software/zookeeper-3.4.5/bin/zkServer.sh start

/root/software/zookeeper-3.4.5/bin/zkServer.sh status

/root/software/zookeeper-3.4.5/bin/zkServer.sh stop

2.6 启动 journalnode（在 hadoop204 上启动所有 journalnode ，注意：是调用的 hadoop-daemons.sh 这个脚本，注意是复数s的那个脚本）

分别在 hadoop201, hadoop202, hadoop203 机器上执行以下命令

#运行jps命令检验，hadoop201, hadoop202, hadoop203 上多了JournalNode进程

/root/software/hadoop-2.2.0/sbin/hadoop-daemon.sh start journalnode

/root/software/hadoop-2.2.0/sbin/hadoop-daemon.sh stop journalnode

2.7 格式化HDFS

#在 hadoop204 上执行命令:

--- hdfs namenode -format 只需要格式化一次

#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/root/software/hadoop-2.2.0/tmp，

然后将/root/software/hadoop-2.2.0/tmp拷贝到 hadoop205 的/root/software/hadoop-2.2.0/下。

scp -r tmp/ hadoop205:/root/software/hadoop-2.2.0/

2.8 格式化ZK(在 hadoop204 上执行即可)

--- hdfs zkfc -formatZK 只需要格式化一次

2.9 启动HDFS(在 hadoop204 上执行)

/root/software/hadoop-2.2.0/sbin/start-dfs.sh

2.10 启动YARN(#####注意#####：是在 hadoop206 上执行start-yarn.sh，把 namenode 和 resourcemanager 分开是因为性能问题，

因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

/root/software/hadoop-2.2.0/sbin/start-yarn.sh

到此，hadoop2.2.0配置完毕，可以统计浏览器访问:

http://hadoop204:50070

NameNode 'hadoop204:9000' (active)

http://hadoop205:50070

NameNode 'hadoop205:9000' (standby)

验证HDFS HA

首先向hdfs上传一个文件

hadoop fs -put /etc/profile /profile

hadoop fs -ls /

然后再kill掉active的NameNode

kill -9 <pid of NN>

通过浏览器访问：http://hadoop205:50070

NameNode 'hadoop205:9000' (active)

这个时候itcast02上的NameNode变成了active

在执行命令：

hadoop fs -ls /

-rw-r--r-- 3 root supergroup 1926 2014-02-06 15:36 /profile

刚才上传的文件依然存在！！！

手动启动那个挂掉的NameNode

sbin/hadoop-daemon.sh start namenode

通过浏览器访问：http://hadoop204:50070

NameNode 'hadoop204:9000' (standby)

验证YARN：

运行一下hadoop提供的demo中的WordCount程序：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out

OK，大功告成！！！

用到的命令(NameNode、DFSZKFailoverController):

启动 NameNode:

/root/software/hadoop-2.2.0/sbin/hadoop-daemon.sh start namenode

启动 NodeManager:

/root/software/hadoop-2.2.0/sbin/yarn-daemon.sh start nodemanager

启动 DFSZKFailoverController:

/root/software/hadoop-2.2.0/sbin/hadoop-daemon.sh start zkfc

在 hadoop206 测试 yarn

hadoop jar /root/software/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /install.log /install.log.out

如果不配置这个，在namenode关机时就不会切换 active

----------hadoop集群安装成功后，启动总结(要严格安顺序)-------------start---------------

1. 启动 zookeeper 集群（分别在 hadoop201, hadoop202, hadoop203 上启动zk）

/root/software/zookeeper-3.4.5/bin/zkServer.sh start

/root/software/zookeeper-3.4.5/bin/zkServer.sh stop

/root/software/zookeeper-3.4.5/bin/zkServer.sh status

2. 启动 journalnode（在 hadoop204 上启动所有 journalnode ，注意：是调用的 hadoop-daemons.sh 这个脚本，注意是复数s的那个脚本）

/root/software/hadoop-2.2.0/sbin/hadoop-daemons.sh start journalnode

/root/software/hadoop-2.2.0/sbin/hadoop-daemons.sh stop journalnode

单个启动使用下面的:

/root/software/hadoop-2.2.0/sbin/hadoop-daemon.sh start journalnode

/root/software/hadoop-2.2.0/sbin/hadoop-daemon.sh stop journalnode

3. 启动HDFS(在 hadoop204 上执行)

/root/software/hadoop-2.2.0/sbin/start-dfs.sh

4. 启动YARN(#####注意#####：是在 hadoop206 上执行start-yarn.sh，把 namenode 和 resourcemanager 分开是因为性能问题，

因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

/root/software/hadoop-2.2.0/sbin/start-yarn.sh

5. 到此，hadoop2.2.0配置完毕，可以统计浏览器访问:

http://hadoop204:50070

666. 验证YARN：

运行一下hadoop提供的demo中的WordCount程序：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out

----------hadoop集群安装成功后，启动总结(要严格安顺序)-------------end---------------

--------------- 在以上集群安装 hbase ----------------start -------------------

1.上传hbase安装包

2.解压

3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）

注意：要把 hadoop的 hdfs-site.xml和core-site.xml 放到/conf下

3.1修改hbase-env.sh

export JAVA_HOME=/usr/java/jdk1.7.0_45

//告诉hbase使用外部的zk

export HBASE_MANAGES_ZK=false

vim hbase-site.xml

<configuration>

<!-- 指定 hbase 在 HDFS 上存储的路径 -->

<property>

<name>hbase.rootdir</name>

<value>hdfs://ns1/hbase</value>

</property>

<!-- 指定 hbase 是分布式的 -->

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<!-- 指定 zk 的地址，多个用“,”分割 -->

<property>

<name>hbase.zookeeper.quorum</name>

<value>hadoop201:2181,hadoop202:2181,hadoop203:2181</value>

</property>

</configuration>

vim regionservers

hadoop201

hadoop202

hadoop203

hadoop205

hadoop206

3.2拷贝hbase到其他节点

scp -r /root/software/hbase-0.96.2-hadoop2/ hadoop201:/root/software/

scp -r /root/software/hbase-0.96.2-hadoop2/ hadoop202:/root/software/

scp -r /root/software/hbase-0.96.2-hadoop2/ hadoop203:/root/software/

scp -r /root/software/hbase-0.96.2-hadoop2/ hadoop205:/root/software/

scp -r /root/software/hbase-0.96.2-hadoop2/ hadoop206:/root/software/

4.将配置好的HBase拷贝到每一个节点并同步时间。

---------------------------- 启动 hbase---------------------------------start

5. 在 hadoop204 上启动所有的hbase

/root/software/hbase-0.96.2-hadoop2/bin/start-hbase.sh

6. 通过浏览器访问hbase管理页面

hadoop204:60010

7.为保证集群的可靠性，要启动多个HMaster(这里选择在 hadoop206 上面启动)

/root/software/hbase-0.96.2-hadoop2/bin/hbase-daemon.sh start master

---------------------------- 启动 hbase---------------------------------end

--------------- 在以上集群安装 hbase ----------------end-------------------