Flume 总结（七）interceptors类型-1.9.0新版

最新推荐文章于 2024-12-23 11:51:05 发布
原创 最新推荐文章于 2024-12-23 11:51:05 发布 · 259 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#分布式 #cloudera #大数据 #flume

本文介绍了Flume 1.9.0版本中interceptors的种类，包括Timestamp Interceptor、Host Interceptor、Static Interceptor等，详细讲解了这些拦截器在大数据传输过程中的作用和配置。

Flume 总结（七）interceptors类型-1.9.0新版

1. interceptors

在这里插入图片描述
在这里插入图片描述

  1. Timestamp Interceptor在这里插入图片描述
  2. Host Interceptor
    在这里插入图片描述
  3. Static Interceptor
    在这里插入图片描述
  4. Remove Header Interceptor
    在这里插入图片描述
  5. UUID Interceptor在这里插入图片描述
  6. Morphline Interceptor
    在这里插入图片描述
  7. Search and Replace Interceptor
    在这里插入图片描述
  8. Regex Filtering Interceptor
    在这里插入图片描述
  9. Regex Extractor Interceptor
    在这里插入图片描述

在这里插入图片描述

大数据学习笔记52：Flume Interceptors（Flume拦截器）
howard2005的专栏
02-15 770
文章目录一、Flume Interceptors用户指南二、Timestamp Inerceptor三、Host Interceptor四、Static Interceptor五、UUID Interceptor六、Search and Replace Interceptor七、Regex Filtering Interceptor八、Regex Extractor Interceptor 一、...
Flume 总结（六）selectors类型-1.9.0新版
xiaohu21的博客
10-10 342
5. interceptors
structs2中interceptor（拦截器）的种类
Anyu_Li的专栏
08-14 1454
Interceptor是Structs2的基石
Flume-1.6.0自定义拦截器(Interceptor)
chennaihuan0842的博客
05-19 220
Flume中的拦截器是插件式的组件，作用在source和channel之间。可以实现source接收的事件，在写入channel之前，进行转换或者删除。Flume官方提供了一些常用的拦截器，也可以自定义拦截器对日志进行处理。自定义拦截器只需以下几步： 使用的Flume版...
Flume的进阶介绍和使用（Interceptor，Selectors，Processors）
Realoyou的博客
08-07 2783
Flume的引入 关于Flume的介绍和使用，官网已经给了比较详细的介绍。本文在这里做一个总结。 Flume是Apache下的一个开源的顶级项目，它是一个分布式，可扩展，高可用，高可靠的，轻量级数据收集框架，主要用来做数据的收集，聚合，和传输，相对与传统的数据导入导出框架Sqoop，它具备多方面优势，如，简单易用，Flume只需要一个简单的配置文件即可启动；功能全面，Flume在Source,...
flume-ng-elasticsearch-sink-1.9.0.jar
09-19
flume1.9 sink支持elasticsearch6.x；采用源码重构的方式；个人测试功能完善，但未投入生产使用，请读者自行考虑慎重使用
Flume日志采集系统的部署和使用
2301_80956509的博客
12-23 969
掌握Flume的安装与配置：学习如何在CentOS上安装和配置Apache Flume环境。 熟悉Flume的数据流模型：理解Flume的Source、Channel、Sink组件及其数据流模型。
大数据之路——flume（1.9.0官网学习）
wy888882的博客
04-22 991
Flume简介 Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳...
【大数据学习 | flume】flume之常见的source组件
2301_80912559的博客
11-16 1161
监控/root/spool 目录，把文件cp到目录下，flume就开始归集，归集完，把文件重命名为xxx.COMPLETED。用来接收http协议通过get或者post请求发送过来的数据，一般get用于测试，常用的是接收post请求发送过来的数据。a1.sources.r1.ignorePattern = ^(.)*\.tmp$ # 跳过.tmp结尾的文件。，即只要应用程序向日志(文件)里面写数据，source组件就可以获取到日志(文件)中最新的内容。，指定正则格式的文件的内容，作为它的数据源，并支持。
Flume-Kafka-Flume采集
elsechan的博客
03-13 1344
一、第一层Flume的ETL拦截器： 作用：进行初步数据清洗，去除不符合Json格式的数据。 1、pom.xml文件 导入两个依赖和两个插件 <?xml version="1.0" encoding="UTF-8"?> 4.0.0 <groupId>com.atguigu</groupId> <artifactId>data0821</artifactId> <version>1.0-SNAPSHOT</version>
Flume 自定义Interceptor
weixin_44966780的博客
12-15 1000
自定义Interceptor 1）案例需求 使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 2）需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 event 发送到不同的 Channel中，所以我们需要自定义一个 Intercep
数据收集 | Flume高级组件、性能优化和进程监控
是希望的博客
01-10 1197
文章目录Flume高级组件Source Interceptors对采集到的数据按天按类型分目录存储Channel SectorsReplicating Channel SelectorMultiplexing Channel SelectorSink ProcessorsLoad balancing Sink Processor 负载均衡Failover Sink Processor 故障转移Flume性能优化Flume进程监控 Flume高级组件 Source Interceptors Timestam
flume源码学习5-RegexExtractorInterceptor实现
weixin_33827965的博客
03-11 235
RegexExtractorInterceptor作为一个Interceptor实现类可以根据一个正则表达式匹配event body来提取字符串，并使用serializers把字符串作为header的值实例：以如下的命令使用execsource收集日志的时候，可以根据文件的名称设置不同的header，进行不同的操作#!/bin/sh filename=$1 hostname=...
flume日志采集
origin_cx的博客
02-06 1767
flume.apache.org flume概念解析 Flume是一种分布式的，能够有效地收集，聚合和移动大量日志数据的工具。flume有着可靠的故障转移和恢复机制，具有强大的容错性。 flume有两个版本,Flume-og和Flume-ng，本次使用的是 apache-flume-1.9.0-bin.tar.gz。 Flume架构 Ageng是最小的日志收集单元，所谓flume的日志采集是...
Flume： ------ 装饰头、查找替换拦截器、过滤抽取拦截器
weixin_45764675的博客
06-01 736
拦截器 作用于Source组件，对Source封装的Event数据进行拦截或者是装饰 ,Flume内建了许多拦截器 Timestamp Interceptor 该拦截器将事件处理的时间（以毫秒为单位）插入到事件标头中。此拦截器将插入一个具有关键timestamp 的标头（或由header属性指定），其值是相关的时间戳记。如果配置中已经存在该时间戳，则该拦截器可以保留现有时间戳。 Host Interceptor 该拦截器将插入正在运行该代理的主机的主机名或IP地址。它会根据配置插入带有密钥主机
Flume日志收集系统之拦截器-----（1）
qq_41420150的博客
02-19 738
                  Flume中的拦截器（Interceptor）介绍与使用 Flume中的拦截器（interceptor），用户Source读取events发送到Sink的时候，在events header中加入一些有用的信息，或者对events的内容进行过滤，完成初步的数据清洗。 Flume-ng 1.70中目前提供了以下拦截器： Timestamp Intercepto...
Flume拦截器-正则抽取拦截器
Movle
05-10 475
1.extractor.conf #1 agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #2 source a1.sources.r1.type = exec a1.sources.r1.channels = c1 a1.sources.r1.command = tail -F /opt/plus a1.sources.r1.interceptors = i1 a1.sources.r1.interceptors.i1.type = regex_e
Flume安装及组件作用配置
sunqingok的博客
09-25 552
1、flume安装 解压，conf目录下拷贝配置，安装目录下测试运行 Tar -zxvf apache-flume-1.8.0.0-bin.tar.gz cp flume-conf.properties.template flume-conf-sequence.properties bin/flume-ng agent -n agent1 -c conf -f conf/flum...
flume 正则表达式_Flume 知识点（二）Flume 高级组件
weixin_34677884的博客
01-19 690
作者：studytime原文：studytimeFlume NG 高级组件除了 Source、channel、Sink外，Flume Agent 还允许用户设置其他组件更灵活地控制数据流，包括 Interceptor，Channel Selector 和 Sink Processor。InterceptorFlume 中的拦截器（Interceptor），当 Source 读取 Event 发送到...
2．Kafka链接Flume,编写Flume配置文件，将Kafka作为输入，通过Flume将Kafka生产者输入的信息存入HDFS中，存储格式hdfs://localhost:9000/fromkafka/%Y%m%d/，要求存储时文件名为kafka_log,新建一个cmd窗口，输入如下命令启动zookeeper： > cd C:\kafka_2.12-2.4.0 > .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.Properties 打开一个新的cmd窗口，输入如下命令启动Kafka： > cd C:\kafka_2.12-2.4.0 > .\bin\windows\kafka-server-start.bat .\config\server.properties 再打开一个新的cmd窗口创建Kafka的topic： > cd C:\kafka_2.12-2.4.0 > .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic flume 创建完成之后创建Kafka生产者： > cd C:\kafka_2.12-2.4.0 > .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic flume 打开新的cmd窗口开启HDFS： > cd C:\hadoop-3.1.3\sbin > start-dfs.cmd 这时会弹出namenode和datanode窗口，不要关闭 在新的cmd窗口启动flume： > cd C:\apache-flume-1.9.0-bin > .\bin\flume-ng agent --conf .\conf --conf-file .\conf\Ekafka2hdfs.conf --name a1 -property flume.root.logger=INFO,console 在启动生产者的窗口中输入“HelloFlume”。 然后，打开浏览器输入“http://localhost:9870/explorer.html#”，查看HDFS中的文件，
最新发布
06-06
### 配置Flume从Kafka读取数据并存储到HDFS 以下是通过Flume将Kafka生产者的数据存储到HDFS的详细配置和实现方法。此过程包括Flume的`source`、`channel`和`sink`的配置，以及启动命令。 #### 1. 配置文件设置 以下是一个完整的Flume配置文件示例，用于从Kafka读取数据并将其存储到HDFS中： ```properties # 定义agent名称 a1.sources = s1 a1.channels = c1 a1.sinks = k1 # 配置source（KafkaSource） a1.sources.s1.type = org.apache.flume.source.kafka.KafkaSource a1.sources.s1.kafka.bootstrap.servers = localhost:9092 a1.sources.s1.kafka.topics = kafka_log a1.sources.s1.kafka.consumer.group.id = flume_group a1.sources.s1.kafka.consumer.auto.offset.reset = earliest a1.sources.s1.batchSize = 1000 a1.sources.s1.interceptors = i1 a1.sources.s1.interceptors.i1.type = timestamp # 配置channel（MemoryChannel） a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 1000 # 配置sink（HD FS Sink） a1.sinks.k1.type = hdfs a1.sinks.k1.hdfs.path = hdfs://localhost:9000/fromkafka/%Y%m%d/ a1.sinks.k1.hdfs.filePrefix = kafka_log a1.sinks.k1.hdfs.rollInterval = 60 a1.sinks.k1.hdfs.rollSize = 0 a1.sinks.k1.hdfs.rollCount = 0 a1.sinks.k1.hdfs.fileType = DataStream a1.sinks.k1.hdfs.writeFormat = Text # 绑定source和sink到channel a1.sources.s1.channels = c1 a1.sinks.k1.channel = c1 ``` #### 2. 启动Flume Agent 使用以下命令启动Flume Agent，并指定配置文件路径： ```bash flume-ng agent --conf conf --conf-file /path/to/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console ``` 其中： - `--conf` 指定Flume的配置目录。 - `--conf-file` 指定具体的Flume配置文件路径。 - `--name` 指定Agent名称（在此例中为`a1`）。 - `-Dflume.root.logger` 设置日志级别和输出位置。 #### 3. 参数说明 - **Kafka Source**: - `kafka.bootstrap.servers`: Kafka集群的地址[^3]。 - `kafka.topics`: 要消费的Kafka主题名称[^3]。 - `kafka.consumer.group.id`: Kafka消费者的组ID[^3]。 - `kafka.consumer.auto.offset.reset`: 当消费者没有初始偏移量或当前偏移量超出范围时的行为。 - **Memory Channel**: - `capacity`: Channel的最大容量，单位为事件数[^1]。 - `transactionCapacity`: 单次事务处理的最大事件数[^1]。 - **HDFS Sink**: - `hdfs.path`: 数据存储在HDFS中的路径，支持时间格式化[^2]。 - `hdfs.filePrefix`: 文件名前缀。 - `hdfs.rollInterval`: 文件滚动的时间间隔（秒）[^2]。 - `hdfs.rollSize`: 文件滚动的大小限制（字节），设为0表示禁用[^2]。 - `hdfs.rollCount`: 文件滚动的记录数限制，设为0表示禁用[^2]。 #### 4. 注意事项 - 确保Kafka和HDFS服务正常运行，并且Flume能够访问它们。 - 根据实际需求调整`rollInterval`、`rollSize`和`rollCount`等参数以优化性能。 - 如果需要对数据进行预处理，可以添加`interceptor`来实现[^3]。 ---
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值