ThreeAspects的博客

  Kafka和Flume都是日志系统。Kafka是分布式消息中间件，自带存储，提供push和pull存取数据功能。FlumeFlume 是管道流方式，分为agent（数据采集器）,collector（数据简单处理和写入）,storage（存储器）三部分，每一部分都是可以定制的。比如agent采用RPC（Thrift-RPC）、text（文件）等，storage指定用HDFS做。Kafka做日志缓...

Flume防止重复消费基本配置断点续传原理  通常我们使用exec类型的source，通过执行 tail命令来监控采集日志的，但是如果agent进程突然挂了，下次重启采集任务，会导致日志文件内容重复采集。这里可以采用Taildir Source来防止重复消费问题。基本配置  监听目标文件，当数据被添加到文件后能实时地tail它们。如果正在写入新行，则此source将重试读取它们以等待写入完成...

最近做的项目中用到了Flume，现学现卖，请多多指教。Flume介绍配置文件运行机制多级Agent串联Flume介绍  Flume是一个分布式、可靠和高可用的海量日志采集、配合和传输的系统。Flume可以采集文件、socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、HBASE、HIVE、kaflka等众多外部存储系统中。一般的采集需求，通过对Flume的简单配置即可实现。F...

Flume与HBASE、Kafka集成相关配置Flume与HBASE集成Flume与Kafka集成  这里首先设置两台Flume采集应用服务日志，将数据Push到第三台Flume进行日志合并、预处理。然后通过两个Channel分别将数据发送到HBASE和Kafka中。关于Flume基础可以参照Flume解析。  这里配置三台节点机器，其中agent2、agent3节点配置flume，用于从应用...