大数据平台分布式搭建 - Flume部署

Section I：文件清单

1.apache-flume-1.8.0-bin.tar.gz

Section II: 下载链接

[Flume 下载链接]：http://flume.apache.org/releases/index.html

Section III: 通信工具Telnet和Flume部署

总览，集群信息：

节点角色	Master	Slave1	Slave2
IP	192.168.137.128	192.168.137.129	192.168.137.130
HostName	BlogMaster	BlogSlave1	BlogSlave2
Hadoop	BolgMaster-YES	BlogSlave1-YES	BlogSlave2-YES
Telnet	BolgMaster-YES	BlogSlave1-YES	BlogSlave2-YES
Flume	BolgMaster-YES	BlogSlave1-NO	BlogSlave2-NO

Step 1: 集群各节点均需安装telnet通信工具

BlogMaster、BlogSlave1和BlogSlave2节点均需安装Telnet通信工具，安装命令如下：
对于BlogMaster节点：

[root@BlogMaster conf]# yum install telnet

对于BlogSlave1节点：

[root@BlogSlave1 ~]# yum install telnet

对于BlogSlave2节点:

[root@BlogSlave2 ~]# yum install telnet

Step 2: Flume部署

以下操作仅在主节点BlogMaster进行。

• Step 2.1: 解压flume安装包至指定目录

具体地，解压指定目录为/opt/cluster，即Hadoop集群所在根目录，解压命令如下：

[root@BlogMaster ~]# tar -zxvf apache-flume-1.8.0-bin.tar.gz -C /opt/cluster/

• Step 2.2: 配置flume-env.sh环境变量（位于：/opt/cluster/apache-flume-1.8.0-bin/conf）

值得注意，进入该目录后，不出意外只会有flume-env.sh.template的文件。这里，则需以cp命令将其拷贝并重命名为flume-env.sh。之后进入该文件，修改其原始关联的JAVA_HOME，具体如下：

# Enviroment variables can be set here.
export JAVA_HOME=/opt/cluster/jdk1.8.0_181

• Step 2.3: 配置log4j.properties文件的flume日志目录选项（位于：/opt/cluster/apache-flume-1.8.0-bin/conf）

进入该文件后，修改存储flume运行的日志记录的目录选项，具体如下：

flume.log.dir=/opt/cluster/apache-flume-1.8.0-bin/logs

之后，一定要在flume安装目录下创建名为"logs”的文件夹。

[root@BlogMaster apache-flume-1.8.0-bin]# mkdir logs

• Step 2.4: 与HDFS交互的Hadoop相关Jar包配置

为使Flume具备将所监控数据与Hadoop集群的HDFS系统进行数据交互的能力，此处需要配置Flume与HDFS交互的Hadoop相关Jar的文件，并将其拷贝于Flume安装目录下lib子目录中。这里所指Jar包文件包含内容，具体如下：

1. commons-configuration-1.6.jar （位于/opt/cluster/hadoop-2.8.4/share/hadoop/tools/lib）
2. hadoop-auth-2.8.4.jar （位于/opt/cluster/hadoop-2.8.4/share/hadoop/tools/lib）
3. hadoop-common-2.8.4.jar（位于/opt/cluster/hadoop-2.8.4/share/hadoop/common）
4. hadoop-hdfs-2.8.4.jar（位于/opt/cluster/hadoop-2.8.4/share/hadoop/hdfs）
5. commons-io-2.4.jar （位于/opt/cluster/hadoop-2.8.4/share/hadoop/tools/lib）
6. htrace-core4-4.0.1-incubating.jar（位于/opt/cluster/hadoop-2.8.4/share/hadoop/tools/lib）

对此，操作如下：
第一步： 进入/opt/cluster/hadoop-2.8.4/share/hadoop/common目录，执行如下命令：

[root@BlogMaster common]# cp hadoop-common-2.8.4.jar /opt/cluster/apache-flume-1.8.0-bin/lib

第二步： 进入/opt/cluster/hadoop-2.8.4/share/hadoop/hdfs目录，执行如下命令：

[root@BlogMaster hdfs]# cp