flume初探 日志收集之flume-ng源码分析

2019独角兽企业重金招聘Python工程师标准>>>

flume NG核心概念

1. Event

2. Client

3. Agent

1. Source

2. Channel

3. Sink

   a.Event是Flume数据传输的基本单元。

   b.Flume以事件的形式将数据从源头传输到最终的目的地（如 HDFS）。

   c.Event可由可选的header和载有数据的一个byte array构成。

   d.Client是一个将原始log包装成 Events并且发送它们到一个或多个Agent实体。

   e.Client在Flume的拓扑结构中不是必须的，它的目的是从数据源系统中解耦Flume。

       f.一个Agent包含Source、Channel、Sink和其他组件。

      g.Agent利用这些组件将Events从一个节点传输到另一个节点或最最终的目的地（文件系统：如 HDFS）。

       h.Agent是Flume流的最重要的部分。

       i.Flume为这些组件提供了配置、生命周期管理、监控支持。

        

flume初探：

http://blog.youkuaiyun.com/hpttlook/article/details/17012333

日志收集之flume-ng源码分析：

http://blog.youkuaiyun.com/hpttlook/article/details/22760547

flume学习（一）：log4j直接输出日志到flume

http://blog.youkuaiyun.com/xiao_jun_0820/article/details/37876773

【采集层】Kafka 与 Flume 如何选择

http://my.oschina.net/frankwu/blog/355298

Kafka 之 入门

http://my.oschina.net/frankwu/blog/303745

Kafka 之 中级

http://my.oschina.net/frankwu/blog/305010

转载于:https://my.oschina.net/u/189445/blog/601363