Flume学习笔记之初识（一）

一、 基本概念

引入：
Flume是一个分布式的，可靠的，高可用的海量日志采集、聚合、传输的系统。
数据流模型：source-channel-sink + topology （图1）
事务机制保障了消息传递的可靠性。
有丰富的插件，可以轻松的与其他系统集成。
java实现，适合我们java系程序员研究源代码。

（图1）例子：使用Flume将Nginx Log、Scribe、Kafka数据导入HDFS

基本概念：
Flume基本组件 （图2）
• Event：消息的基本单位，由headers和body组成
• Agent：JVM进程，负责将外部来源产生的消息转发到外部的目
的地
• Source：从外部来源读入event，并写入channel
• Channel：event暂存组件，source写入后，event将会一直
保存，直到被sink成功消费。
• Sink：从channel读入event，并写入目的地

（图2）Flume数据流模型

常见的拓扑结构：

1 聚合模型：

2 分流模型：

二、环境搭建

有两种搭建方式：
1. 下载二进制压缩包
• 下载地址：http://flume.apache.org/download.html
2. 编译源码
• gihub地址：git@github.com:apache/flume.git
• maven编译：mvn clean install -DskipTests -Phadoop-2

一个简单的例子（Hello World）

1. 创建conf/example.conf

# name the component on agent a1 ,can name mulity source,sink or channel
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# describe/configure the source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444

# describe the sink, k1 will print message on console
a1.sinks.k1.type = logger

# configure the channel, c1 is a memery channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity=100

# bind the source and sink to the channel

  # a sources can have sevel channels
a1.sources.r1.channels = c1

  # a sink can have only one channel
a1.sinks.k1.channel = c1

1. 启动agent：bin/flume-ng agent –conf conf –conf-file conf/helloword.conf –name a1 -Dflume.root.logger=INFO,console

–conf 指定配置文件的根目录，flume可从这个目录读入一些env，log4j等配置。–conf-file指定配置文件，–name 指定agent name，-Dxxx 指定额外配置参数。

3 向44444端口发送Hello World

通过telnet发送Hello World。

Flume接收到HelloWorld