Flume

目录

1、Flume简介

2、flume架构

3、flume组件

4、Source

5、channel

6、Sink

---

1、Flume简介

实时数据采集

日志采集

日志.log文件 网络采集

flume是一个分布式、可靠、高可用的海量日志采集、聚合和传输的系统

支持在日志系统中定制各类数据发送方，用于收集数据。

2、flume架构

flume运行的核心是Agent，flume以agent为最小的独立运行单位。一个agent就是一个JVM

它是一个完整的数据收集工具

含有：source(收集数据，封装)、channel(发送到这)、sink(取出)

event开源从一个地方流向另一个地方

3、flume组件

Client：生产数据，运行在一个独立的线程，客户端

Event：一个数据单元，消息头和消息体组成

Flow：event从源点到达目的点的迁移的抽象

Agent：一个独立的flume进程，每台机器运行一个agent，但是开源包含多个sources，和sinks

Source：数据收集组件

Channel：中转Event的一个临时存储，保存由source组件传递过来的evenr

sink：从channel中读取并移除event，将event传递到flowpipeline中的下一个agent

sink从channel收集数据，运行在一个独立线程。

4、Source

Source是数据的收集端，负责将数据捕获后进行特殊的格式化，将数据封装到事件（event） 里，然后将事件推入Channel中。 Flume提供了很多内置的Source， 支持 Avro， log4j， syslog 和 http post(body为json格式)。可以让应用程序同已有的Source直接打交道，如AvroSource

5、channel

Channel是连接Source和Sink的组件，大家可以将它看做一个数据的缓冲区（数据队列），它可以将事件暂存到内存中也可以持久化到本地磁盘上， 直到Sink处理完该事件。介绍两个较为常用的Channel， MemoryChannel和FileChannel。

6、Sink

Sink从Channel中取出事件，然后将数据发到别处，可以向文件系统、数据库、 hadoop存数据， 也可以是其他agent的Source。在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。