本文详细介绍了Apache Flume的两个版本：Flume0.9x和FlumeNG，其中FlumeNG是对传统Flume的简化。重点阐述了Flume数据流模型以及如何有效收集日志数据，包括在每个日志服务器上安装相同版本的FlumeNG，以及根据不同网站选择的Web server设定Agent进行数据收集。
初步学习Apache Flume ,从两个方面总结。
第一方面：Apache Flume 有两个版本 Flume 0.9x和 Flume NG（new generation），Flume NG是对传统的Apache Flume的精简，去掉了 Master 和Collector两种角色，只保留了Agent 一种角色。数据流（Data Flow）描述了日志数据从产生，传输，处理到最后写入目的地的路径，它是 Flume 的最抽象模型。
Flume 数据流模型
第二方面：为了有效的手机日志，系统实施时候需要在每个手机日志的服务器上安装相同版本的 Flume NG ,由于不同的网站选取的Web server不同,为了对数据有效的收集，需要对每类设定一个或者多个 Agent，对收集的不同数据进行不同的处理。
基于 Flume 的日志数据收集流程
扫一扫
1047
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
