flume介绍

概述

Flume最早是Cloudera提供的日志收集系统，后贡献给Apache，所以目前是Apache下的项目。
Flume是一个高可用的、高可靠的 鲁棒性（robust 健壮性）、分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据(source);同时，Flume提供对数据进行简单处理，并写到各种数据接受方(可定制)的能力(sink)。
当前Flume有两个版本Flume 0.9X版本统称Flume-og，老版本的flume需要引入zookeeper集群管理，性能也较低（单线程工作），且老版本的flume对于zookeeper依赖过高，此外也会对Zookeeper造成一定的负载压力。
Flume1.X版本统称Flume-ng，由于Flume-ng经过重大重构，与Flume-og有很大不同，Flume1.X版本的主要变化：
1.sources和sinks 使用channels 进行链接。
2.两个主要channel 。(1)in-memory channel 非持久性支持，速度快。(2)JDBC-based channel 持久性支持。
3.不再区分逻辑和物理node，所有物理节点统称为 “agents”,每个agents 都能运行0个或多个sources 和sinks。
4.不再需要master节点和对zookeeper的依赖，配置文件简单化。
本文使用的是apache-flume-1.6.0-bin版本。

flume总体架构*

flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，比如说送到图中的HDFS，简单来说flume就是收集日志的。
event 事件
event的相关概念：flume的核心是把数据从数据源(source)收集过来，在将收集到的数据送到指定的目的(sink)，为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据在通道中(channel),待数据真正到达目的地(sink)后，flume再删除自己缓存的数据。在整个数据的传输过程中，流动的是event，即事务保证是在event级别进行的。那么什么是event呢？—–event将传输的数据进行封装，是flume传输数据的基本单位，如果是文本文件，通常是一行记录，event也是事务的基本单位。event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息。event代表着一个数据的最小完整单元，从外部数据源来，向外部的目的地去。一个完整的event包括：event headers、 event body、 event信息(即文本文件中的单行记录)，其中event信息就是flume收集到的日记记录。
flume的运行机制
flume运行的核心就是agent，agent本身是一个Java进程，agent里面包含3个核心的组件：source —-> channel
—–> sink,类似生产者、仓库、消费者的架构。
source： source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、 thrift、 exec、 jms、 spooling directory、 netcat、 sequence、generator、 syslog、 http、 legacy、自定义。
channel： source组件把数据收集来以后，临时存放在channel中，即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、 jdbc、 file等等。
sink： sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、 logger、 avro、 thrift、 ipc、 file、 null、 hbase、 solr、自定义。
一个完整的工作流程：source不断的接收数据，将数据封装成一个一个的event，然后将event发送给channel，chanel作为一个缓冲区会临时存放这些event数据，随后sink会将channel中的event数据发送到指定的地方—-例如HDFS等。
注：只有在sink将channel中的数据成功发送出去之后，channel才会将临时event数据进行删除，这种机制保证了数据传输的可靠性与安全性。

flume的用法

flume之所以这么神奇，其原因在于flume可以支持多级flume的agent，即flume可以前后相继形成多级的复杂流动，例如sink可以将数据写到下一个agent的source中，这样的话就可以连成串了，可以整体处理了。
此外，flume还支持扇入(fan-in)、扇出(fan-out)。所谓扇入就是source可以接受多个输入，所谓扇出就是sink可以将数据输出多个目的地中。
多个agent的数据流（多级流动）

数据流合并（扇入流）
在做日志收集的时候一个常见的场景就是，大量的生产日志的客户端发送数据到少量的附属于存储子系统的消费者agent。例如，从数百个web服务器中收集日志，它们发送数据到十几个负责将数据写入HDFS集群的agent。

这个在Flume中实现，需要配置大量第一层的agent，每一个agent都有一个avro sink，让它们都指向同一个agent的avro source（强调一下，在这样一个场景下你也可以使用thriftsource/sink/client）。在第二层agent上的source将收到的event合并到一个channel中，event被一个sink消费到它的最终的目的地。
数据流复用（扇出流）
Flume支持多路输出event流到一个或多个目的地。这是靠定义一个多路数据流实现的，它可以
实现复制和选择性路由一个event到一个或者多个channel。

上面的例子展示了agent foo中source扇出数据流到三个不同的channel，这个扇出可以是复制或者多路输出。在复制数据流的情况下，每一个event被发送所有的三个channel；在多路输出的情况下，一个event被发送到一部分可用的channel中，它们是根据event的属性和预先配置的值选择channel的。 这些映射关系应该被填写在agent的配置文件中。
Flume的特性
可靠性
事务型的数据传递，保证数据的可靠性
一个日志交给flume来处理，不会出现此日志丢失或未被处理的情况。
可恢复性
通道可以以内存或文件的方式实现，内存更快，但不可恢复。文件较慢但提供了可恢复性。

flume安装和配置

实现步骤：
1.安装jdk，1.6以上版本，建议1.7或者1.8
2.下载flume的安装包 ，下载地址：flume.apache.org
3.解压安装包就可以用，无需其它安装步骤
4.在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定）
5.配置agent组件
相关配置：
#配置Agent a1 的组件
a1.sources=r1
a1.channels=c1 (可以配置多个，以空格隔开，名字自己定）
a1.sinks=s1 (可以配置多个，以空格隔开，名字自己定）
#描述/配置a1的r1
a1.sources.r1.type=netcat (netcat表示通过指定端口来访问)
a1.sources.r1.bind=0.0.0.0 (表示本机)
a1.sources.r1.port=8888 （指定的端口，此端口不固定，但是不要起冲突）
#描述a1的s1
a1.sinks.s1.type=logger (表示数据汇聚点的类型是logger日志）
#描述a1的c1
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity=100
#位channel 绑定 source和sink
a1.sources.r1.channels=c1 （一个source是可以对应多个通道的）
a1.sinks.s1.channel=c1 (一个sink,只能对应一个通道）
6.根据指定的配置文件，来启动flume
进入flume的bin目录
执行： ./flume-ng agent -n a1 -c …/conf -f …/conf/template.conf -Dflume.root.logger=INFO,console

出现上图所显，说明flume配置启动成功。
7.通过nc来访问：
nc localhost 8888
hello flume

在 开启 flume的这边，会出现如下提示：

以上，说明你的 flume已经运行成功，可以利用它收集、发送数据了。
在此，暂且说这些，后续会持续更新flume多种收集、发送数据的方式和配置，有性趣可以关注一波，谢谢！