harvey的博客

1.Flume概述Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方）Flume 官网：http://flume.apache.org/ Flume 官方文档：http://flume.apache.org/FlumeUse

导读：       本篇博客笔者主要介绍如何使用exec实现数据收集到HDFS、使用avro方式实现数据收集及整合exec和avro实现数据收集。Flume 官方文档：http://flume.apache.org/FlumeUserGuide.html1.使用exec实现数据收集到HDFS需求：监控一个文件，将文件中新增的内容收集到HDFS Agent选型：exec source + memo

需求：使用Flume实时收集WebServer或者其它服务器上通过log4j产生的日志Agent选型：Log4jAppender的使用创建一个maven项目，pom.xml文件中引入依赖dependency> groupId>log4jgroupId> artifactId>log4jartifactId> version>1.2.16version>depe