Flume NG 学习笔记（二）安装部署以及实战案例

安装部署 Flume

1、Flume 的安装非常简单，只需要解压即可，当然，前提是已有 Hadoop 环境上传安装包到 数据源所在节点上

然后解压 tar -zxvf apache-flume-1.8.0-bin.tar.gz

然后进入 flume 的目录，修改 conf 下的 flume-env.sh，在里面配置 JAVA_HOME

2、根据数据采集的需求配置采集方案，描述在配置文件中(文件名可任意自定义)

3、指定采集方案配置文件，在相应的节点上启动 flume agent 先用一个最简单的例子来测试一下程序环境是否正常

下面的内容的官网地址：http://flume.apache.org/FlumeUserGuide.html

本文使用的是最新版本的apache flume 1.8，用最简单的单一代理Flume 配置，测试下Flume是否可以用，

1、在$FLUME_HOME/agentconf 目录下创建一个数据采集方案，该方案就是从一个网络端口 收集数据，也就是创一个任意命名的配置文件如下：netcat-logger.properties

说明下，这里所有的例子都是将配置文件放到 $FLUME_HOME/agentconf 目录下，后面就不赘述了。

文件内容如下：

# 定义这个 agent 中各个组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置 source 组件：r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 描述和配置 sink 组件：k1
a1.sinks.k1.type = logger
# 描述和配置 channel 组件，此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 描述和配置 source channel sink 之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2、启动 agent 去采集数据：

在$FLUME_HOME 下执行如下命令： bin/flume-ng agent -c conf -f agentconf/netcat-logger.properties -n a1 - Dflume.root.logger=INFO,console

-c conf 指定 flume 自身的配置文件所在目录

-f conf/netcat-logger.con 指定我们所描述的采集方案

-n a1 指定我们这个 agent 的名字

具体参数命令请通过flume-nghelp查看

3、测试 先要往 agent 的 source 所监听的端口上发送数据，让 agent 有数据可采 例如在本机节点，使用 telnet localhost 44444 命令就可以  输入三行数据： 

4.然后会看在之前启动的终端查看console输出到如下：

这里会发现消息hello world! 输出了，而hello word helloword 和 helloword hellword helloword则被拦截了。因为在配置文件中，我们选择的输出方式为：a1.sinks.k1.type= logger，即console输出，flume-ng针对logger是只显示16个字节的，剩下的都被sink截了。

不难看出，在event处理过程中，发生了数据截取操作。

Ok，进入下一个环节。

一、单一代理Flume配置

上面测试实例就属于单一代理flume配置，只不过source的type=netcat，一般常用source有spooldir（监视文件目录）和exec（监视文件内容），这个比较简单，可以自行测试。在这里展示一下配置文件以及说明即可

spoodir(监视文件目录)：

特性： 1、监视一个目录，只要目录中出现新文件，就会采集文件中的内容

2、采集完成的文件，会被 agent 自动添加一个后缀：.COMPLETED

3、所监视的目录中不允许重复出现相同文件名的文件 下沉组件，即 sink——HDFS 文件系：hdfs sink 通道组件，即 channel——可用 file channel 也可以用内存 channel

spooldir-hdfs.properties配置示例：

#定义三大组件的名称
agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
# 配置 source 组件
agent1.sources.source1.type = spooldir
agent1.sources.source1.spoolDir = /home/hadoop/logs/
agent1.sources.source1.fileHeader = false
#配置拦截器
agent1.sources.source1.interceptors = i1
agent1.sources.source1.interceptors.i1.type = host
agent1.sources.source1.interceptors.i1.hostHeader = hostname
# 配置 sink 组件
agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path=hdfs://myha01/flume_log/%y-%m-%d/%H-%M
agent1.sinks.sink1.hdfs.filePrefix = events
agent1.sinks.sink1.hdfs.maxOpenFiles = 5000
agent1.sinks.sink1.hdfs.batchSize= 100
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat =Text
agent1.sinks.sink1.hdfs.rollSize = 102400
agent1.sinks.sink1.hdfs.rollCount = 1000000
agent1.sinks.sink1.hdfs.rollInterval = 60
#agent1.sinks.sink1.hdfs.round = true
#agent1.sinks.sink1.hdfs.roundValue = 10
#agent1.sinks.sink1.hdfs.roundUnit = minute
agent1.sinks.sink1.hdfs.useLocalTimeStamp = true
# Use a channel which buffers events in memory
agent1.channels.channel1.type = memory
agent1.channels.channel1.keep-alive = 120
agent1.channels.channel1.capacity = 500000
agent1.channels.channel1.transactionCapacity = 600
# Bind the source and sink to the channel
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

 Channel 参数解释：

capacity：默认该通道中最大的可以存储的 event 数量

trasactionCapacity：每次最大可以从 source 中拿到或者送到 sink 中的 event 数量

keep-alive：event 添加到通道中或者移出的允许时间

启动： bin/flume-ng agent -c conf -f agentconf/spooldir-hdfs.properties -n agent1

测试： 1、如果 HDFS 集群是高可用集群，那么必须要放入 core-site.xml 和 hdfs-site.xml 文件到 $FLUME_HOME/conf 目录中 2、查看监控的/home/Hadoop/logs 文件夹中的文件是否被正确上传到 HDFS 上

3、在该目录中创建文件，或者从其他目录往该目录加入文件，验证是否新增的文件能被自 动的上传到 HDFS

exec（监视文件内容）：

 exec类型我个人记得相对简单而且最容易理解，往一个文件追加内容即可触发，如监控不断更新的日志文件，捕捉新的日志内容，后面flume的其他应用架构，都是用exec来示例。此处单一模式就列一下配置文