Flume案例三

最新推荐文章于 2024-04-22 13:28:08 发布
最新推荐文章于 2024-04-22 13:28:08 发布
阅读量328 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhanglei_16/article/details/94594056
本文详细介绍了Apache Flume的多种拦截器配置方法，包括时间戳、主机名、UUID、查询替换、正则过滤及正则抽取拦截器。通过实例展示了如何利用这些拦截器进行数据预处理，同时提供了自定义拦截器的步骤与示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

案例六：Flume拦截器

一：时间戳拦截器

vi /opt/mod/flume/jobconf/flume-timestamp.conf

#1.定义agent名， source、channel、sink的名称
a4.sources = r1
a4.channels = c1
a4.sinks = k1

#2.具体定义source
a4.sources.r1.type = spooldir
a4.sources.r1.spoolDir = /opt/upload

#定义拦截器，为文件最后添加时间戳
a4.sources.r1.interceptors = timestamp
a4.sources.r1.interceptors.timestamp.type = org.apache.flume.interceptor.TimestampInterceptor$Builder

#具体定义channel
a4.channels.c1.type = memory
a4.channels.c1.capacity = 10000
a4.channels.c1.transactionCapacity = 100

#具体定义sink
a4.sinks.k1.type = hdfs
a4.sinks.k1.hdfs.path = hdfs://192.168.1.31:9000/flume-interceptors/%H
a4.sinks.k1.hdfs.filePrefix = events-
a4.sinks.k1.hdfs.fileType = DataStream

#不按照条数生成文件
a4.sinks.k1.hdfs.rollCount = 0
#HDFS上的文件达到128M时生成一个文件
a4.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
a4.sinks.k1.hdfs.rollInterval = 60

#组装source、channel、sink
a4.sources.r1.channels = c1
a4.sinks.k1.channel = c1

启动命令后观察结果：

/opt/mod/flume/bin/flume-ng agent -n a4 -f /opt/mod/flume/jobconf/flume-timestamp.conf -c /opt/mod/flume/conf -Dflume.root.logger=INFO,console

二：主机名拦截器

主机名拦截器:
vi /opt/mod/flume/jobconf/flume-host.conf


#1.定义agent
a1.sources= r1
a1.sinks = k1
a1.channels = c1

#2.定义source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/upload
#拦截器
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = host

#参数为true时用IP192.168.1.111，参数为false时用主机名，默认为true
a1.sources.r1.interceptors.i1.useIP = false
a1.sources.r1.interceptors.i1.hostHeader = agentHost

 #3.定义sinks
a1.sinks.k1.type=hdfs
a1.sinks.k1.channel = c1
a1.sinks.k1.hdfs.path = hdfs://192.168.1.31:9000/flumehost/%{agentHost}
a1.sinks.k1.hdfs.filePrefix = zhang_%{agentHost}
#往生成的文件加后缀名.log
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text
a1.sinks.k1.hdfs.rollInterval = 10
a1.sinks.k1.hdfs.useLocalTimeStamp = true
 
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
 
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令：
/opt/mod/flume/bin/flume-ng agent -c /opt/mod/flume/conf/ -f /opt/mod/flume/jobconf/flume-host.conf -n a1 -Dflume.root.logger=INFO,console

三：UUID拦截器

vi /opt/mod/flume/jobconf/flume-uuid.conf

#1.定义agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/zhang
a1.sources.r1.interceptors = i1
#type的参数不能写成uuid，得写具体，否则找不到类
a1.sources.r1.interceptors.i1.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
#如果UUID头已经存在,它应该保存
a1.sources.r1.interceptors.i1.preserveExisting = true
a1.sources.r1.interceptors.i1.prefix = UUID_

#如果sink类型改为HDFS，那么在HDFS的文本中没有headers的信息数据
a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令后观察结果：

/opt/mod/flume/bin/flume-ng agent -c /opt/mod/flume/conf/ -f /opt/mod/flume/jobconf/flume-uuid.conf -n a1 -Dflume.root.logger==INFO,console

四：查询替换拦截器

vi /opt/mod/flume/jobconf/flume-search.conf

#1 agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#2 source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/zhang 
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = search_replace

#遇到数字改成***，A123会替换为A***
a1.sources.r1.interceptors.i1.searchPattern = [0-9]+
a1.sources.r1.interceptors.i1.replaceString = ***
a1.sources.r1.interceptors.i1.charset = UTF-8

#3 sink
a1.sinks.k1.type = logger

#4 Chanel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

#5 bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令，观察结果：

/opt/mod/flume/bin/flume-ng agent -c /opt/mod/flume/conf/ -f /opt/mod/flume/jobconf/flume-search.conf -n a1 -Dflume.root.logger=INFO,console
 

五：正则过滤拦截器

vi /opt/mod/flume/jobconf/flume-filter.conf

#1 agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#2 source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/zhang
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_filter
a1.sources.r1.interceptors.i1.regex = ^A.*
#如果excludeEvents设为false,表示过滤掉不是以A开头的events。如果excludeEvents设为true，则表示过滤掉以A开头的events。
a1.sources.r1.interceptors.i1.excludeEvents = true

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令，观察结果，可以看到以AA开头的字符被过滤掉了：
/opt/mod/flume/bin/flume-ng agent -c /opt/mod/flume/conf/ -f /opt/mod/flume/jobconf/flume-filter.conf -n a1 -Dflume.root.logger=INFO,console

六：正则抽取拦截器

vi /opt/mod/flume/jobconf/flume-extractor.conf

#1 agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#2 source
a1.sources.r1.type = exec
a1.sources.r1.channels = c1
a1.sources.r1.command = tail -F /opt/zhang
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = regex_extractor
# hostname is bigdata31 ip is 192.168.1.31
a1.sources.r1.interceptors.i1.regex = hostname is (.*?) ip is (.*)
a1.sources.r1.interceptors.i1.serializers = s1 s2
#hostname（自定义）= (.*?)->bigdata31 
a1.sources.r1.interceptors.i1.serializers.s1.name = hostname
#ip（自定义） = (.*)->192.168.1.31
a1.sources.r1.interceptors.i1.serializers.s2.name = ip

a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令，观察结果：

/opt/mod/flume/bin/flume-ng agent -c /opt/mod/flume/conf/ -f /opt/mod/flume/jobconf/flume-extractor.conf -n a1 -Dflume.root.logger=INFO,console

案例七：Flume自定义拦截器

1：配置Pom.xml
        <!-- flume核心依赖 -->
        <dependency>
            <groupId>org.apache.flume</groupId>
            <artifactId>flume-ng-core</artifactId>
            <version>1.8.0</version>
        </dependency>

2：自定义实现拦截器

package flume;
import org.apache.flume.Context;
import org.apache.flume.Event;
import org.apache.flume.interceptor.Interceptor;
import java.util.ArrayList;
import java.util.List;

public class MyInterceptor implements Interceptor {
    public void initialize() {}
    /**
     * 拦截source获取event
     * @param event 接受过滤的event
     * @return event 返回业务处理后的event
     */
    public Event intercept(Event event) {
        //获取数据body
        byte[] body = event.getBody();
        //将获取数据转换为大写
        event.setBody(new String(body).toUpperCase().getBytes());
        return event;
    }
    //接受过滤的时间集合
    public List<Event> intercept(List<Event> list) {
        List<Event> list1 = new ArrayList<Event>();
        for(Event e:list){
            list1.add(intercept(e));
        }
        return list1;
    }
    public void close() {}
    public static class Build implements Interceptor.Builder{
        //获取自定义的拦截器
        public Interceptor build() {
            return new MyInterceptor();
        }
        public void configure(Context context) {}
    }
}

使用Maven做成Jar包，在flume的目录下mkdir jar，上传此jar到jar目录中

3：Flume配置文件

vi /opt/mod/flume/jobconf/ToUpCase.conf

#1.agent
a1.sources = r1
a1.sinks =k1
a1.channels = c1


# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/zhang
a1.sources.r1.interceptors = i1
#全类名$Builder
a1.sources.r1.interceptors.i1.type = flume.MyInterceptor$Build

# Describe the sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://192.168.1.31:9000/ToUpCase1/%H
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.rollInterval = 3
a1.sinks.k1.hdfs.rollSize = 20
a1.sinks.k1.hdfs.rollCount = 5
a1.sinks.k1.hdfs.batchSize = 1
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#生成的文件类型，默认是 Sequencefile，可用 DataStream，则为普通文本
a1.sinks.k1.hdfs.fileType = DataStream

# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

启动命令，观察结果：

/opt/mod/flume/bin/flume-ng agent -c /opt/mod/flume/conf/ -n a1 -f /opt/mod/flume/jobconf/ToUpCase.conf -C /opt/mod/flume/jar/zhang-1.0-SNAPSHOT.jar -Dflume.root.logger=DEBUG,console

 

练习：

需求：flume可以实现从数以百计的Web servers中收集信息，
           然后将日志信息传送到十几个agent服务器，最后写到hdfs上。
            

1.source1：收集4666端口信息在bigdata31节点上。
2.source2：监控Hadoop的日志信息在bigdata31节点上。
3.channel1：接收source1和source2的数据sink到hdfs中，在bigdata31节点上。
一个agent里面：扇出source->channel    1/n ，  扇入source->channel    n/1

vi /opt/mod/flume/jobconf/flume-22.conf
        
# 1.agent     source->channel对应关系1/n    sink->channel对应关系1/1
a1.sources = r1 r2
a1.sinks = k1
a1.channels = c1 

# 2.source1
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /opt/mod/hadoop-2.8.4/logs/hadoop-root-namenode-bigdata31.log
a1.sources.r1.shell = /bin/bash -c
#设置拦截器，标识一下
a1.sources.r1.interceptors = i1
a1.sources.r1.interceptors.i1.type = static
a1.sources.r1.interceptors.i1.key = key
a1.sources.r1.interceptors.i1.value = hdfs_log

# 3.source2
a1.sources.r2.type = netcat
a1.sources.r2.bind = bigdata31
a1.sources.r2.port = 4666
#设置拦截器，标识一下
a1.sources.r2.interceptors = i2
a1.sources.r2.interceptors.i2.type = static
a1.sources.r2.interceptors.i2.key = key
a1.sources.r2.interceptors.i2.value = netca_log

# 4.sink1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://192.168.1.31:9000/flume4/%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = log-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundValue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 100
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 600
#设置每个文件的滚动大小大概是128M
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0
#最小冗余数
a1.sinks.k1.hdfs.minBlockReplicas = 1

# 4 channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 5 Bind
a1.sources.r1.channels = c1
a1.sources.r2.channels = c1
a1.sinks.k1.channel = c1

启动命令，查看结果：

/opt/mod/flume/bin/flume-ng agent -c /opt/mod/flume/conf/ -f /opt/mod/flume/jobconf/flume-22.conf -n a1 -Dflume.root.logger=INFO,console

Flume 案例总结。
qq_32783151的博客
06-26 1001
一、Flume 架构 二、Flume传输过程 source监控某个文件或数据流，数据源产生新的数据，拿到该数据后，将数据封装在一个Event中，并put到channel后commit提交，channel队列先进先出，sink去channel队列中拉取数据，然后写入到HDFS、kafka中。 三 ...
flume案例
Carina_____的博客
11-12 401
第一个案例：flume采集网络端口的数据 第二个案例：监控某一个目录下面的所有的文件，只要目录下面有文件，收集文件内容，上传到hdfs上面去 14 sink：hdfsSink source： spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集文件中的内容 2、采集完成的文件，会被agent自动添加一个后缀：COMPLETED 3、所监视的目录中不允许重复出现相同文件名的文件（flume比较脆弱，一旦抛异常，就会停止工作，只能手动重启） channel：memory
Flume 简单案例
u011249837的专栏
12-14 708
1）采集目录到 HDFS 采集需求：服务器的某特定目录下，会不断产生新的文件，每当有新文件出现， 就需要把文件采集到 HDFS 中去 根据需求，首先定义以下 3 大要素 采集源，即 source——监控文件目录 : spooldir 下沉目标，即 sink——HDFS 文件系统 : hdfs sink source 和 sink 之间的传递通道——channel，可用 file channel 也可以用内存 channel 配置文件编写： a1.sources.r1.type = spooldir
Flume的常用案例（二）
weixin_43646427的博客
04-17 1882
一、监控端口数据 对应配置文件 flume-netcat-logger.conf # Name the components on this agent # r1、k1、c1表示souce、sink、channel的名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source # type表示 a1 的输入源是 netcat 端口类型，下面两项表示 a1 监听的主机、端口 a1.sources.r1
Flume案例1-监控端口数据
ordo120的专栏
04-22 2362
（1）将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/package目录下。（4）在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。（2）解压 apache-flume-1.9.0-bin.tar.gz 到/opt/program/目录下。（5）在 flume-netcat-logger.conf 文件中添加如下内容。（3）修改 apache-flume-1.9.0-bin 的名称为 flume。
Flume的高级案例
10-17
### Flume的高级案例分析：ReplicatingChannelSelector详解 #### 概述 Flume作为Hadoop生态体系中的一种高效、可靠的服务，主要用于收集、聚合并传输大量的日志数据或其他类型的数据。它提供了丰富的功能来满足...
Flume案例分析
weixin_43497829的博客
05-06 441
1 复制和多路复用 （1）案例需求 使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责输出到Local FileSystem。同时Flume-1将变动内容传递给Flume-3，Flume-3负责存储到HDFS。 （2）需求分析 (3)编写配置文件 在/opt/module/flume/job下创建a1.conf，向a1.conf添加如下配置： # N...
flume入门案例
weixin_44604159的博客
11-11 2028
flume入门案例
Flume 案例篇
2301_77331760的博客
04-08 153
flume的一些基础案例
Flume 实战案例
hni_94的博客
03-31 338
采集目录到 HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS 中去 根据需求，首先定义以下 3 大要素 数据源组件，即 source ——监控文件目录：spooldir spooldir 特性： 1、 监视一个目录，只要目录中出现新文件，就会采集文件中的内容 2、 采集完成的文件，会被 agent 自动添加一个后缀：.COMPLETE...
Flume使用案例一
while false
09-14 583
1.安装部署Flume 我这里Flume的版本是CDH5.3.6的，下载地址  http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.5.0-cdh5.3.6.tar.gz   上传解压之后修改配置文件 mv flume-env.sh.template  flume-env.sh vi flume-env.sh 将export JAVA_HO...
flume实用案例（比较全）
小强签名设计 的博客
05-04 2902
案例1：Avro Avro可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制。 a)创建agent配置文件 [hadoop@h71 conf]$ vi avro.conf a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r
Flume入门案例（三个简单的小案例）
bigdataJ的博客
08-26 607
案例一：使用Flume监听一个端口，收集该端口数据，并打印到控制台。 （1）安装netcat工具 [@hadoop102 software]$ sudo yum install -y nc （2）判断44444端口是否被占用 [@hadoop102 flume-telnet]$ sudo netstat -tunlp | grep 44444 （3）创建Flume Agent配置文件netcat-flume-logger.conf 在flume目录下创建job文件夹并进入job文件夹。 [@hadoop
Flume基础【Flume的几个小案例】
weixin_43923463的博客
04-08 1724
一 案例二 实时监控单个追加文件 需求：实时监控Hive日志，并上传到HDFS中 实现步骤 # Name the components on this agent a2.sources = r2 a2.sinks = k2 a2.channels = c2 # Describe/configure the source a2.sources.r2.type = exec a2.sources.r2.command = tail -F /opt/module/flume/demo/1.log a2
Flume开发案例
sj天问的博客
11-03 173
复制和多路复用 1）案例需求 使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。 2）需求分析：
flume综合案例
bxf_spark的博客
10-09 1754
综合案例 1、案例场景/需求 A、B 两台日志服务机器实时生产日志主要类型为 access.log、nginx.log、web.log 现在要求： 把 A、B 机器中的 access.log、nginx.log、web.log 采集汇总到 C 机器上然后统一收集到 hdfs 中。 但是在 hdfs 中要求的目录为： /source/logs/access/20160101/** /source/l...
FLUME详细使用案例
yhy_only的博客
05-08 571
flume的概念，优点，使用案例
Flume案例实操
乔治大哥的博客
11-10 644
案例实操 3.1Flume实时读取目录中文件到HDFS案例 1）案例需求：使用flume监听整个目录的文件 2）需求分析： 3）实现步骤： 1．创建配置文件flume-dir-hdfs.conf 创建一个文件 [root@linux02 job]$ touch flume-dir-hdfs.conf 打开文件 [root@linux02 job]$ vim flume-d...
Flume案例采集
最新发布
06-06
### Apache Flume 数据采集案例与示例 Apache Flume 是一个分布式、可靠且高可用的系统，用于高效地收集、聚合和移动大量日志数据。以下是一些常见的 Flume 数据采集案例及配置教程。 #### 1. Flume 单机部署案例 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值