jinnianshilongnian的专栏

最近在学习Flume源码，所以想写一份Flume源码学习的笔记供需要的朋友一起学习参考。   1、Flume介绍 Flume是cloudera公司开源的一款分布式、可靠地进行大量日志数据采集、聚合和并转移到存储中；通过事务机制提供了可靠的消息传输支持，自带负载均衡机制来支撑水平扩展；并且提供了一些默认组件供直接使用。 Flume目前常见的应用场景：日志--->Flume---&g...

  首先所有核心组件都会实现org.apache.flume.lifecycle.LifecycleAware接口： public interface LifecycleAware { public void start(); public void stop(); public LifecycleState getLifecycleState(); } start方...

  4、整体流程 从以上部分我们可以看出，不管是Source还是Sink都依赖Channel，那么启动时应该先启动Channel然后再启动Source或Sink即可。   Flume有两种启动方式：使用EmbeddedAgent内嵌在Java应用中或使用Application单独启动一个进程，此处我们已Application分析为主。   首先进入org.apache.flume...

Flume提供了可靠地日志采集功能，其高可靠是通过事务机制实现的。而对于Channel的事务我们本部分会介绍MemoryChannel和FileChannel的实现。   首先我们看下BasicChannelSemantics实现： public abstract class BasicChannelSemantics extends AbstractChannel { //1、事...