david's Blog

1.简介apache flume 是一种分布式的、可靠的、可用的系统，主要用于高效地收集、聚合和移动大量来自不同来源的日志数据到一个集中的数据存储区。 flume的使用不仅限于日志的数据聚合。由于数据源是可定制的，flume可以用于传输大量的事件数据，包括但不限于网络流量数据、数字媒体生志的数据。电子邮件消息和几乎任何可能的数据源。2.flume事件(event)flume的核心是把数据从数据源(

1. HDFS配置1.1.Hadoop集群搭建有关HDFS的配置，请参考CentOS7.0下Hadoop2.7.3的集群搭建,为了容易操作，本示例采用单机模式, 即解压hadoop到/opt/hadoop/目录下;1.2.hdfs配置$HADOOP_HOME/etc/hadoop/core-site.xml配置<configuration> <property>

log4j+flume+kafka实现日志处理