qq_22049773的博客

flume agent配置 #定义 a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 #source a1.sources.r1.type = TAILDIR # 用于断点续传，文件中包含各个路径下各个文件当前读取到的偏移量 a1.sources.r1.positionFile = /opt/flume_conf/tmp/tai...

案例 自定义实现类 package com.flume.sinks; import org.apache.flume.*; import org.apache.flume.conf.Configurable; import org.apache.flume.sink.AbstractSink; import org.slf4j.Logger; import org.slf4j.Logge...

案例 自定义source实现类 package com.flume.source; import org.apache.flume.Context; import org.apache.flume.EventDeliveryException; import org.apache.flume.PollableSource; import org.apache.flume.conf.Con...

案例： 自定义拦截器 pom.xml <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> </dependency> 拦截器类 package com.flu...

案例一：故障转移 agent1 : flume.conf（node2）FailoverSinkProcessor #定义 a1.sources = r1 a1.channels = c1 a1.sinks = k1 k2 #定义sink组 a1.sinkgroups = g1 #source a1.sources.r1.type = TAILDIR # 用于断点续传，文件中包含...

案例一：复制 agent1 : flume.conf（node2节点） #定义 a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 #source a1.sources.r1.type = TAILDIR # 用于断点续传，文件中包含各个路径下各个文件当前读取到的偏移量 a1.sources.r1.positionFile ...

Flume事务 Flume Agent 内部原理 重要组件： 1）ChannelSelector ChannelSelector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是 Replicating（复制）和 Multiplexing（多路复用）。ReplicatingSelector 会将同一个 Event 发往所有的 C...

说明 Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控；而 Taildir Source 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控。 实现步骤： 1．创建配置文件 flume-taildir-hdfs.conf 添加如下内容 a3.sour...

官网 http://flume.apache.org/ 安装 1、上传 2、解压 3、修改conf/flume-env.sh 文件中的JDK目录 注意：JAVA_OPTS 配置 如果我们传输文件过大 报内存溢出时 需要修改这个配置项 4、验证安装是否成功 ./flume-ng version 5、配置环境变量 export FLUME_HOME=/home/a...