DViewer的专栏

简介 大数据时代的各种互联网应用产生大量的数据和日志，需要将这些日志收集起来，进行统一的分析处理，在应用系统和数据分析系统之间需要一座桥梁，进行通用的日志收集处理。Apache Flume 是一种分布式的、高可靠的、高可用的日志收集聚合系统，将不同来源海量的日志数据传输到集中的数据存储。Flume 最初由Cloudera开发，后成为Apache基金会顶级项目。Flume 可用于日志数据、网络

最近需要利用flume来做收集远端日志，所以学习一些flume最基本的用法。这里仅作记录。 远端日志收集的整体思路是远端自定义实现log4j的appender把消息发送到flume端，flume端自定义实现一个sink来按照我们的规则保存日志。 自定义Sink代码： public class LocalFileLogSink extends AbstractSink implemen