caodaoxi的专栏

flume提供了flume shell方式来管理，非常强大。 1. 连接 可以使用 “flume shell”进入flume命令行环境，“connect”命令可以用来连接任何的flume的master服务器。 [root@test01] ~ 0 $ flume shell [flume (disconnected)] connect test01.linuxjcq.com:35873

ETL(Extraction, Transformation, and Load)是基于日志数据挖掘中的重要环节。现在Hadoop用于日志ETL的工具主要有Facebook的Scribe，Apache的Chukwa和Cloudera的Flume等等。 从容错性、负载均衡和可扩展性上考虑，我们最后选择了Flume作为我们的日志ETL工具。Flume是Cloudera提供的非常优秀的日志ETL工具。

一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 设计目标： (1) 可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先

在编译flume ng的时候出现不能找到flume-ng-log4jappender的问题: [ERROR] Failed to execute goal org.apache.maven.plugins:maven-remote-resources-plugin:1.1:process (default) on project flume-ng-dist: Failed to resolve