本文介绍了Flume在数据抽取中的应用，包括RPC模式、执行命令、网络流、设置多个agent流、合并日志数据和多路复用流程。Flume支持Avro、Thrift、Syslog、Netcat等多种方式从不同源获取数据，并能通过Avro或Thrift进行agent间的事件传递。通过配置，可以实现事件根据特定属性多路复用到不同的通道，以便高效地管理和存储日志数据。
1.Flume支持许多从外部源获取数据的机制。
2.RPC模式
Flume发行版本包含的Avro客户端可以使用Avro RPC 机制将给定文件发送到Flume Avro源。
$ bin/flume-ng avro-client -H localhost -p 41414 -F /usr/logs/log.10
上面的命令会将/usr/logs/log.10的内容发送到监听该端口的Flume源。
3.执行命令
有一个exec源执行给定的命令并消费输出数据。输出的单条数据即文本后面跟着 \r 或者 \n。
4.网络流
Flume支持以下机制从常用日志流类型中读取数据
- Avro
- Thrift
- Syslog
- Netcat
5.设置多个agent流
为了跨多个agent或者source，先前agent的sink和source需要是avro类型，sink指向source的主机名（ip）和端口。
6.合并
日志收集中非常常见的是大量日志生成客户端将数据发送到连接存储子系统的少数消费者agent.
从数百个web服务器收集的日志发送给写入HDFS集群的十几个agent。
</
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
