王佩的优快云博客

flume中有三种可监控文件或目录的source、分别是Exec Source、Spooling Directory Source和Taildir Source。Taildir Source是1.7版本的新特性，综合了Spooling Directory Source和Exec Source的优点。使用场景Exec SourceExec Source可通过tail -f命令...

做项目时遇到一个问题，需要对接收到的日志数据做复杂逻辑处理并将一条转换成多条。对比了td-agent,filebeat、flume日志采集工具，td-agent核心部分是用C实现，而插件部分用了ruby,但ruby不熟;filebeat正则匹配很强大，但关于插件相关资料很少;flume插件却可以直接用java实现。于是决定通过自定义flume拦截器实现这一功能。来增强对flume拦截器的认识。...

Flume中常用Kafka Source、正则拦截器、HDFS Sink,这里把需要注意的点做一下总结,并实现数据根据事件时间和事件类型落到HDFS。Kafka Source配置# source类型agent.sources.s1.type = org.apache.flume.source.kafka.KafkaSource# kafka brokers列表agen...

Flume最初由Cloudera开发，于2011年6月贡献给Apache,于2012成为顶级项目。在孵化这一年，基于老版本的Flume(Flume OG：Flume Original Generation 即Flume 0.9.x版本)进行重构，摒弃了Zookeeper和Master，升级为现在的轻量级的Flume(Flume NG：Flume Next Generation，即Flume 1.x...