Flume的事务和可靠性级别

1.Flume的事务
Flume使用两个独立的事务分别负责从soucrce到channel，以及从channel到sink的事件传递。一旦事务中所有的事件全部传递到channel且提交成功，那么source就将该文件标记为完成。同理，事务以类似的方式处理从channel到sink的传递过程，如果因为某种 原因使得事件无法记录，那么事务将会回滚。且所有的事件都会保持到channel中，等待重新传递。

Flume的事务机制，总的来说，保证了source产生的每个事件都会传送到sink中。这样就造成每个source产生的事件至少到达sink一次，换句话说就是同一事件有可能重复到达。
 

2.Flume的3种可靠性级别

end-to-end
收集数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以从新发送。

Store on failure
这也是scribe采用的策略，当数据接收方crash时，将数据写到本地，待恢复后，继续发送。

Best effort
不经写入磁盘而直接转发给下一条

3.常用的Channel配置
Flume中提供的Channel实现主要有三个：

Memory Channel           event保存在Java Heap中。如果允许数据小量丢失，推荐使用。（宕机可能丢失数据）
File Channel                  event保存在本地文件中，可靠性高，但吞吐量低于Memory Channel
JDBC Channel               event保存在关系数据中，一般不推荐使用