Flume数据采集（行为日志数据）

Flume数据采集

前置条件：完成zookeeper、Kafka、Flume以及Hadoop的安装和基本学习。

1 Flume配置概述

用日志文件使用一个脚本来生成存放在集群某一个节点，由于Flume是一个单点操作，故需要在该节点配置日志采集Flume。且采集到的日志进行JSON格式校验，然后将通过校验的JSON日志发送到kafka。

• Flume怎么校验？
• Source的类型选择？
  选择TailDirSource的原因，可以实现断点续传，**多目录多文件实时**监控？
• Channel的类型选择？
  选择kafkaChannel，省去了Sink,，提高了效率。kafka可以均衡速率，kafkachannel直接到kafka,不用sink。（sink的目的也是均衡速率）

2 Flume实际配置

#定义组件
a1.sources = r1
a1.channels = c1

#配置source
# source类型
a1.sources