Flume【使用篇】04：Flume的高级组件之Source Interceptors

做一个有趣的人Zz

已于 2025-06-10 09:12:43 修改

阅读量330

点赞数

分类专栏： flume 大数据工程师的成长之路文章标签： hadoop flume

于 2022-03-04 08:49:32 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_40612128/article/details/123237349

版权

大数据工程师的成长之路同时被 2 个专栏收录

135 篇文章 ¥399.90 ¥499.90

订阅专栏

flume

40 篇文章 ¥19.90 ¥99.00

订阅专栏

本文介绍了Flume的高级组件——Source Interceptors，包括Timestamp Interceptor、Host Interceptor等类型，强调了Search and Replace Interceptor对原始数据的影响。文中通过一个案例展示了如何利用拦截器按天和数据类型将日志存储到HDFS，通过Regex Extractor Interceptor和Search and Replace Interceptor转换并提取数据类型字段，实现了目录的动态创建和驼峰命名规则。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、Source Interceptors

接下里我们看一下第一个高级组件，Source Interceptors

系统中已经内置提供了很多Source Interceptors
常见的Source Interceptors类型：Timestamp Interceptor、Host Interceptor、Search and Replace Interceptor 、Static Interceptor、Regex Extractor Interceptor 等

1、Timestamp Interceptor：向event中的header里面添加timestamp 时间戳信息
2、Host Interceptor：向event中的header里面添加host属性，host的值为当前机器的主机名或者ip
3、Search and Replace Interceptor：根据指定的规则查询Event中body里面的数据，然后进行替换，这个拦截器会修改event中body的值，也就是会修改原始采集到的数据内容
4、Static Interceptor：向event中的header里面添加固定的key和value
5、Regex Extractor Interceptor：根据指定的规则从Event中的body里面抽取数据，生成key和value，再把key和value添加到header中

根据刚才的分析ÿ

了解本专栏