Flume

一、概述

官网

http://flume.apache.org/FlumeUserGuide.html#hdfs-sink

Cloudera 公司开发的实时的日志采集-> 捐献给了apache

适用于实时的数据分析 （spark）

同样也可以用于离线的分析 (hive)

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.

Flume 是一个分布式的，高可用的 是一个 收集 聚集 移动（流式处理） 日志收集系统
Flume 仅仅运行在unix环境下(linux)

Flume 只有一个角色 Agent 该角色下存在:

• Source 用于采集数据的组件,在source里产生数据流，同时会把数据流传输给Channel
• Channel 主要是连接source 和sink的组件有点类似于队列
• Sink 从channel收集数据,将数据写到目标源 可以将目标源设置为HDFS 目录

在flume中传输的最小单元为event, source将数据封装到evnet里 sink拿到event

Event组件

本身就是一个字节数组

Header 头信息 key value

Body 主体： 字节数组 存储数据的详细内容

一个行文本的内容就会被序列化为一个event
Event 的最大字节为2048
超过了大小，会进行切割 存放到下个event
Event的默认编码为UTF-8