AI + BigData + 云计算
定义
Flume 是 Cloudera 提供的一个高可用,高可靠,分布式的海量日志采集,聚合和传输的系统。Flume 基于流式架构,灵活简单。
组件
1.Agent
Agent 是一个 JVM 进程,它以事件的形式将数据从源头送至目的
Agent 主要有 3 个部分组成:Source,Channel,Sink
2.Source
Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型,各种格式的日志数据,包括:avro,thrift,exec,jms,spooling directory,netcat,sequence generator,syslog,http,legacy
3.Sink
Sink 不断轮询 Channel 中的事件且批量移除它们,并将这些事件写入到存储或索引系统,或者发送到另一个 Flume Agent
Sink 组件目的地包括 hdfs,logger,avro,thrift,ipc,file,HBase,solr
4.Channel
Channel 是位于 Source 和 Sink 之间的缓冲区。因此,Channel 允许 Source 和 Sink 运作在不同的速率上。Channel 是线程安全的,可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。
Flume 自带两种 Channel :Memory Channel 和 File Channel 以及 Kafka Channel
Memory Channel 是内存中的队列。Memory Channel 在不需要关心数据丢失的情景下适用。如果需要关注数据丢失,那么 Memory Channel 就不应该使用,因为程序死亡,机器宕机都会导致数据丢失。
File Channel 将所有事件写到磁盘,因此程序关闭或者宕机情况下都不会丢失数据。
5.Event
传输单元 Flume 数据传输的基本单元,以 Event 的形式将数据从源头送至目的地。Event 由 Header 和 body 两部分组成,Header 用来存放该 Event的一些属性,以 K-V 结构,Body 用来存放该条数据,形式以字节数组。
案例
1.
需求: 监听文件内容变动,将新增加的内容输出到控制台。
实现: 主要使用 Exec Source
配合 tail
命令实现。
- 配置
新建配置文件 exec-memory-logger.properties
,其内容如下:
#指定agent的sources,sinks,channels
a1.sources = s1
a1.sinks = k1
a1.channels = c1
#配置sources属性
a1.sources.s1.type = exec
a1.sources.s1.command = tail -F /tmp/log.txt
a1.sources.s1.shell = /bin/bash -c
#将sources与channels进行绑定
a1.sources.s1.channels = c1
#配置sink
a1.sinks.k1.type = logger
#将sinks与channels进行绑定
a1.sinks.k1.channel = c1
#配置channel类型
a1.channels.c1.type = memory
- 启动
没太理解原文章的 --conf conf
是啥意思,所以启动的时候会报错如下
log4j:WARN No appenders could be found for logger (org.apache.flume.lifecycle.LifecycleSupervisor).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
后来知道原来 conf
应该是 flume 的解压后主目录下的 conf
(解决)
flume-ng agent -c /home/flume/apache-flume-1.9.0-bin/conf -f /home/flume/examples/exec-memory-logger.properties --name a1 -Dflume.root.logger=INFO,console
成功启动如下图: