冷月宫主的专栏

http://www.linuxidc.com/Linux/2016-05/131402.htm本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。Flume 基本概念Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、

在互联网迅猛发展的今天 各大厂发挥十八般武艺的收集用户的各种信息，甚至包括点击的位置，我们也经常发现自己刚搜完一个东西，再打开网页时每个小广告都会出现与之相关联的商品或信息，在感叹智能的同时不惊想 什么时候泄露的行踪。　　许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据，供离线和在线的分析系统使用，正是日志收集系统的要做的事情。　　用户的数据除了这种后台默默的收集外，

第一部分 搭建Kafka环境安装Kafka下载：http://kafka.apache.org/downloads.htmltar zxf kafka-.tgzcd kafka-启动Zookeeper启动Zookeeper前需要配置一下config/zookeeper.properties：接下来启动Zookeeperbin/z

简单测试项目：1、新建Java项目结构如下：测试类FlumeTest代码如下：package com.demo.flume;import org.apache.log4j.Logger;public class FlumeTest { private static final Logger LOGGER = Logger.getLogg