Flume初级使用blog

1.Flume是什么?

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

2.Flume的配置重点:

rolln 控制文件按照何种方式滚动 避免把记录一直写在一个文件中

下面配置表示触发条件
al.sinks.k1.hdfs.rollInterval = 3; 以时间间隔控制;
al.sinks.k1.hdfs.rollSize = 20;(128M) 以文件大小控制滚动;
al.sinks.k1.hdfs.rollCount = 5; 以event数量个数控制滚动

如果三个都配置,谁先满足条件谁触发滚动;
如果不想以某个属性控制滚动 设置为0即可;

Round 文件夹生成时间周期

下面配置表示10分钟生成1个文件夹
al.sinks.k1.hdfs.round = true;
al.sinks.k1.hdfs.roundValue = 10;
al.sinks.k1.hdfs.roundUnit = minute;