疯狂的矩阵

对于flume拦截器,我的理解是：在app(应用程序日志)和 source 之间的，对app日志进行拦截处理的。也即在日志进入到source之前，对日志进行一些包装、清新过滤等等动作。 官方上提供的已有的拦截器有： Timestamp Interceptor Host Interceptor Static Interceptor Regex Filtering Intercept...

前面已经讲过如何将log4j的日志输出到指定的hdfs目录，我们前面的指定目录为/flume/events。 如果想用hive来分析采集来的日志，我们可以将/flume/events下面的日志数据都load到hive中的表当中去。 如果了解hive的load data原理的话，还有一种更简便的方式，可以省去load data这一步，就是直接将sink1.hdfs.path指定为hi...

按照以往的惯例，还是需求驱动学习，有位网友在我的flume学习五中留言提了一个问题如下： 我想实现一个功能，就在读一个文件的时候，将文件的名字和文件生成的日期作为event的header传到hdfs上时，不同的event存到不同的目录下，如一个文件是a.log.2014-07-25在hdfs上是存到/a/2014-07-25目录下，a.log.2014-07-26存到/a/2014-07-2...

原文：http://blog.youkuaiyun.com/lskyne/article/details/37564449 问题导读： [color=red]1.Flume的存在些什么问题？ 2.基于开源的Flume美团增加了哪些功能？ 3.Flume系统如何调优？[/color] 在《基于Flume的美团日志收集系统(一)架构和设计》中，我们详述了基于Flume的美团日志收集系统的架构...

转自：http://www.aboutyun.com/thread-8317-1-1.html 问题导读： [color=red]1.Flume-NG与Scribe对比，Flume-NG的优势在什么地方？ 2.架构设计考虑需要考虑什么问题？ 3.Agent死机该如何解决？ 4.Collector死机是否会有影响？ 5.Flume-NG可靠性(reliability)方面做了哪些措施...