wulantian的专栏

flume介绍及扩展开发心得一二  存储，学习，共享一、flume简介Flume是Cloudera提供的日志收集系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种storage。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。上图的Flume

flume学习（六）：使用hive来分析flume收集的日志数据前面已经讲过如何将log4j的日志输出到指定的hdfs目录，我们前面的指定目录为/flume/events。如果想用hive来分析采集来的日志，我们可以将/flume/events下面的日志数据都load到hive中的表当中去。如果了解hive的load data原理的话，还有一种更简便的方式，可以省去

flume-ng+Kafka+Storm+HDFS 实时系统搭建存储，学习，共享一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有写这篇文章@

Flume学习笔记 参考资料中文资料，log资料格式化，sink自定义http://blog.youkuaiyun.com/rjhymApache User Guidehttps://flume.apache.org/FlumeUserGuide.html基于cloudera的安装https://www.cloudera.com/conten

Flume学习的思维导图自己整理的flume学习思维导图，由于时间紧促，如有不妥的地方欢迎指正。