本文探讨了Flume如何通过采用KafkaChannel实现第一层数据采集与第二层数据汇聚，结合FileChannel和MemoryChannel的优势。同时提到了用轻量级的logstash或filebeat替代Flume的可能性，并强调Flume拦截器在过滤非Json数据中的作用，以优化日志收集流程。
- Flume的双层采集（第一层数据采集，第二层数据汇聚）
- Channel可以使用Kafka channel，兼具File Channel和Memory Channel的优点；还可以兼具离线和实时计算。
- Flume替换为轻量级的日志收集组件logstash(ELK套件中的L)，或更轻量集的filebeat
- Flume拦截器，可以多虑多余的数据，仅保留Json串
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
