Flume概述

最新推荐文章于 2022-10-28 18:12:38 发布

码中小白鼠

最新推荐文章于 2022-10-28 18:12:38 发布

阅读量264

点赞数

分类专栏： Flume 文章标签： Flume 大数据

本文链接：https://blog.youkuaiyun.com/Dawn_Zi/article/details/99636692

版权

Flume 专栏收录该内容

0 篇文章

订阅专栏

文章目录

什么是Flume

Flume是Cloudera提供的一个高可用，高可靠，分布式的海量日志采集，聚合和传输的软件。

Flume的核心是把数据从数据源(source)收集过来，再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功，在送到目的地(sink)之前，会先缓存数据(channel),待数据真正到达目的地(sink)之后，flume再删除自己缓存的数据。

Flume支持定制各类数据发送方，用于收集各类型数据：同时，Flume支持定制各种数据接受方，用于最终存储数据。一般的采集需求，通过对Flume的简单配置即可实现。针对特殊场景也具备良好的自定义扩展能力。因此，Flume可以适用于大部分的日常数据采集场景

当前Flume有俩个版本。Flume0.9X版本的统称Flume OG(originalgeneration)，Flume1.X版本的统称 Flume NG（next generation）。由于FlumeNG经过核心组件，核心配置以及代码架构重构，与Flume OG 有很大不同。改动的另一原因是将Flume纳入apache旗下，ClouderaFlume改名为Apache Flume。

在这里插入图片描述

运行机制

Flume系统中核心的角色是agent，agent本身是一个Java进程，一般运行在日志收集节点。
在这里插入图片描述
每一个agent相当于一个数据传递员，内部分别有三个组件：

Source：采集源，用于跟数据源对接，以获取数据，包括avro,thrift,exec,jms,spooling,directory,netcat,syslog,http,legacy
Sink：目的地，数据要传送到的地方，用于往下一级agent传递数据或者往最终储存系统传递数据，Sink组件目的地包括hdfs,logger,avro,thrift,ipc,file,null,HBase,solr,自定义
Channel：agent内部的数据传输通道，用于从source将数据传递到sink。

传输过程

在整个数据的传输过程中，流动但是event，它是Flume内部数据传输的最基本单位。event将传输的数据进行封装。如果是文本文件，通常是一行记录，event也是事务的基本单位。event从source流向channel再到sink，本身为一个字节数组，从外部数据源来，向外部目的地去。

一个完整的event包括：event headers，eventbody，event信息，其中event信息就是Flume收集到的日记记录。

Flume自带俩种Channel：Memory Channel和File Channel.

Memory Channel是内存中的队列。Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡，机器宕机或者重启都会导致数据丢失。

File Channel将所有事件写到磁盘，因此在程序关闭或机器宕机的时候不会丢失数据。

Flume采集架构图

简单结构
多目的地结构
多数据源结构

在这里插入图片描述

简单例子

先在Flume的conf目录下新建一个文件

vi netcat-logger.conf



# 定义这个 agent 中各组件的名字 

a1.sources = r1


a1.sinks = k1 

a1.channels =
c1 

# 描述和配置 source 组件r1

a1.sources.r1.type
= netcat 

a1.sources.r1.bind
= localhost 

a1.sources.r1.port
= 44444 

# 描述和配置 sink 组件：k1 

a1.sinks.k1.type
= logger 

# 描述和配置 channel 组件，此处使用是内存缓存的方式 

a1.channels.c1.type
= memory 

a1.channels.c1.capacity
= 1000 

a1.channels.c1.transactionCapacity
= 100

# 描述和配置 source channel sink 之间的连接关系 

a1.sources.r1.channels
= c1 

a1.sinks.k1.channel = c1

启动agent去采集数据：

bin/flume-ng agent -c
conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console

-c conf 指定 flume 自身的配置文件所在目录

-f conf/netcat-logger.con 指定我们所描述的采集方案

-n a1 指定我们这个 agent 的名字

开始测试：

先要往 agent 采集监听的端口上发送数据，让 agent 有数据可采。
随便在一个能跟 agent 节点联网的机器上：

telnet anget-hostname port （telnet localhost 44444）