SouthPark的专栏

使用Flume做日志收集，flume+kafka做日志收集存储，后面接es存历史日志，storm用于实时分析。对于历史日志来说，尽可能做到不丢不重，实际经验内网环境kafka还是很稳定可靠的，丢日志主要发生在flume重启，所以针对flume进行改造，实现断点续传。主要环境及配置，jdk7，flume1.6版本，agent使用内存channel。自扩展source基于原生ExecSource改造，

原文地址：http://www.myexception.cn/software-architecture-design/1692533.html从bin/flume 这个shell脚本可以看到Flume的起始于org.apache.flume.node.Application类，这是flume的main函数所在。　　main方法首先会先解析shell命令，如果指定的配置文件不存在就甩出

原文地址：http://www.myexception.cn/software-architecture-design/1692535.html本节分析配置文件的解析，即PollingPropertiesFileConfigurationProvider.FileWatcherRunnable.run中的eventBus.post(getConfiguration())。分析getCo

原文地址：http://www.myexception.cn/software-architecture-design/1692546.html本篇分析加载配置文件后各个组件是如何运行的？　　加载完配置文件订阅者Application类会收到订阅信息执行： @Subscribe public synchronized void handleConfigurationE

Flume-ng 源码分析我们使用flume1.6。参照ExecSource，实现自己的Source组件TailSource。由于要求实时性高，使用tail命令。支持后面说的1到6的功能，支持log4j日志文件的按天分隔文件创建，自动追踪；断点续传；对catalina.out日志的带堆栈日志合并成一条日志。继续改进实现功能：动态实时抽取docker容器里的项目日志；去flume的properties文件，启动时动态生成source、channel、sink等组件；细粒度source-sink控制，比如

转载原文：http://shiyanjun.cn/archives/915.html 原作者：时延军Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本。经过架构重构后，Flume NG更像是一个

转载原文：http://shiyanjun.cn/archives/1497.html 原作者：时延军Flume作为一个日志收集工具，非常轻量级，基于一个个Flume Agent，能够构建一个很复杂很强大的日志收集系统，它的灵活性和优势，主要体现在如下几点：模块化设计：在其Flume Agent内部可以定义三种组件：Source、Channel、Sink组合式设计：可以在Flume