程研板的博客

exec-hdfs-agent.conf:exec-hdfs-agent.sources = exec-sourceexec-hdfs-agent.sinks = hdfs-sinkexec-hdfs-agent.channels = memory-channel# Describe/configure the sourceexec-hdfs-agent.sources.exec-source.type = execexec-hdfs-agent.sources.exec-source.com

目录一.Failover Sink Processor测试一.Failover Sink Processor测试官网解释Failover Sink Processor：Failover Sink Processor维护一个按优先级排列的sink列表，确保只要有一个sink可用，事件就会被处理(交付)。Failover机制的工作原理是将失败的接收转移到池中，在池中为它们分配一个冷却期，在重新尝试它们之前，随着顺序故障的增加而增加。一旦接收器成功地发送了一个事件，它就会被恢复到活动池。sink有一个与它

目录一.流程图二.拦截器开发三.配置文件四.运行结果一.流程图二.拦截器开发添加依赖：<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.6.0-cdh5.15.1</version></dependency>开始网不好，下载的依赖总是爆红。也可

目录一.Flume架构二.通过netcat写入到控制台三.通过exec写入到hdfs四.Spooling Directory Source五.Taildir Source（非常重要）一.Flume架构执行流程：概念event：event将传输的数据进行封装，是flume传输数据的基本单位，如果是文本文件，通常是一行记录，event也是事务的基本单位。event从source，流向channel，再到sink，本身为一个字节数组，并可携带headers(头信息)信息。event代表着一个数据的最小完