flume常用组件模板

最新推荐文章于 2023-04-17 17:40:31 发布
最新推荐文章于 2023-04-17 17:40:31 发布 · 254 阅读 · 1
文章标签：

#flume

本文详细介绍了Flume的配置，包括taildir source用于监控文件夹，kafka source从Kafka消费数据，kafka channel与memory channel、file channel的使用，以及hdfs sink将数据写入HDFS的配置。配置中包含源的拦截器、通道的存储选项和sink的数据滚动策略。

下文中的agent统一取名为a1

#taildir source

a1.sources = r1

a1.sources.r1.type = TAILDIR  #选择source为TAILDIR

a1.sources.r1.filegroups = f1  #需要监控的文件夹组，实现多目录监控

a1.sources.r1.filegroups.f1 = /opt/module/applog/log/app.* # 需要监控的文件夹

a1.sources.r1.positionFile = /opt/module/flume/taildir_position.json # 实现断点续传的临时文件

a1.sources.r1.interceptors =  i1 # 拦截器组，可以自定拦截器

a1.sources.r1.interceptors.i1.type = com.xigema.flume.interceptor.ETLInterceptor$Builder #自定拦截器内部Buider类的包名

#=====================================================================

#kafka source

a1.sources = r1

a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSource # 选择类型为kafka source

a1.sources.r1.kafka.bootstrap.servers = ip地址1:9092,ip地址2:9092,ip地址3:9092 # 需要连接kafka的集群地址，写一个就可以

a1.sources.r1.kafka.topics=topic_log # kafka主题名

a1.sources.r1.interceptors = i1 #拦截器组

a1.sources.r1.interceptors.i1.type= com.xigema.flume.interceptor.TimeStampInterceptor$Builder # 自定义拦截器

a1.sources.r1.batchSize = 5000 # 拉取尺寸的大小

a1.sources.r1.batchDurationMillis = 2000 # 尝试拉取的间隔时间

#=====================================================================

#kafka channel

a1.channels = c1 

a1.channels.c1.type = org.apache.flume.channel.kafka.KafkaChannel # 选择channel类型

a1.channels.c1.kafka.bootstrap.servers = ip地址1:9092,ip地址2:9092 #  选择需要连接的kafka集群

a1.channels.c1.kafka.topic = topic_log # kafka的主题名

a1.channels.c1.parseAsFlumeEvent = false # 去掉头部的信息，使传入kafka的信息为原本信息

#=====================================================================

#memory channel

a1.channels = c1 

a1.channels.c1.type = memory # 选择channel类型

a1.channels.c1.capacity = 1000 # 选择内存存储大小 单位event

a1.channels.c1.transactionCapacity = 100 # 选择抓取尺寸大小

#=====================================================================

#file channel

a1.channels = c1 

a1.channels.c1.type = file #选择channel类型

a1.channels.c1.checkpointDir = /opt/module/flume/checkpoint/behavior1 # 保存的地址

a1.channels.c1.dataDirs = /opt/module/flume/data/behavior1/ # 保存的备份地址

a1.channels.c1.maxFileSize = 2146435071 # 保存的文件大小

a1.channels.c1.capacity = 1000000 # 保存的容量

a1.channels.c1.keep-alive = 6 

在重启flume有时需要将checkpointDir与dataDirs删除

#=====================================================================

#hdfs sink

a1.sinks.k1.type = hdfs # 选择sink类型

a1.sinks.k1.hdfs.path = /origin_data/gmall/log/topic_log/%Y-%m-%d # 保存的hdfs的路径

a1.sinks.k1.hdfs.filePrefix = log- #保存文件的前缀

a1.sinks.k1.hdfs.round = false 

# 控制文件生成的三个参数

a1.sinks.k1.hdfs.rollInterval = 1800 

a1.sinks.k1.hdfs.rollSize = 134217728

a1.sinks.k1.hdfs.rollCount = 0

## 控制输出文件是原生文件。

a1.sinks.k1.hdfs.fileType = CompressedStream

a1.sinks.k1.hdfs.codeC = lzop

大数据技术——结合Flume官方理解常用组件
weixin_44606952的博客
12-02 662
从官方说明文档入手，详细描述各组件以及组件的属性和功能。1 常用的Source类型描述 1.1 Netcat Source 1.2 Exec Source 1.3 Spooling Directory Source 1.4 Taildir Source 2 常用的Channel类型描述 2.1 Memory Channel 2.2 File Channel 3常用的Sink类型描述 3.1 HDFS Sink 3.2 File Roll Sink 3.3 Avro Sink
Flume系列：Flume组件架构
wester的博客
04-17 1193
Flume系列：Flume组件架构
flume常用组件
weixin_33701617的博客
05-26 145
Flume组件 1.   Source NetCat Source：绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入； type：source的类型，必须是netcat。 bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。 port：绑定的本地的端口。   Avro Source：监...
flume配置模板
念念的博客,记录学习的点点滴滴！
03-02 304
[root@server-21 apache-flume-1.6.0-bin]# cat test.properties # 01-flume-netcat-test # agent name: a1 # source: netcat # channel: memory # sink: logger, local console # 01 define source,channel,sink...
Flume学习笔记（二）Flume 常用组件
an_vana的博客
08-08 292
Flume学习笔记（二）Flume 常用组件 前言 ​ 上一篇介绍了 Flume 整体的组成架构，这一篇来整理一下一些较为常用的 Source，Sink，Channel Source 网络流 Source ​ Flume 可以通过监听特定的端口来获取数据，以下三个是较为常用的网络流 Srouce Avro Source Avro Source 监听指定端口，通过 RPC 的方式来获取数据，Avro 本身在大批量的数据传输过程中有良好的表现。在实际应用中可以使用 Avro Source 和 Avro Si
02_Flume之各种Source的介绍及参数解析
weixin_40727028的博客
04-15 1411
Source用于对接各种数据源，将收集到的事件发送到临时存储Channel中。常用的source类型有：Avro Source、Exec Source、Kafka Source、TaildirSource、Spooling Directory Source等，其他类型source请查阅Flume-NG官方介绍。source类型说明1支持Thrift协议，Thrift Source监听Thrift端口，接收外部Thrift客户端发送过来的Thrift Event数据。
Flume详解（包括flume框架，flume安装测试等内容）
wudidahuanggua的博客
09-26 2143
flume详细介绍
精选资源
大数据开发工程师简历模板
03-31
flume、Sqoop、kafka、zookeeper 等大数据相关组件熟悉。 数据库：掌握 Oracle、Mysql 等主流数据库使用、开发、调优，sql 语句操作熟练，编写过复杂 SQL。 算法：了解机器学习常用算法，参加京东大学主办的人工...
大数据学习——Flume入门
5akura's Blog
08-06 3208
文章目录一、Flume概述1.1、Flume定义1.2、Flume基础架构二、Flume快速入门2.1、安装Flume部署2.2、入门案例2.2.1、监控端口数据（官方案例）Describe the sinkUse a channel which buffers events in memoryBind the source and sink to the channel2.2.2、实时监控单个追加文件2.2.3、监控文件 升级版2.2.4、监控文件夹变化2.2.5、断点续传——实时监控目录文件追加修改三、
flume配置模板示例
starkpan的博客
02-05 558
flume官网 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 1、安装flume https://blog.csdn.net/starkpan/article/details/82765628 2、需求一：将计算机一个文件夹下的文件转移到另一个文件夹下 需求一：将计算机一个文件夹下的文件转移到另...
flume常用组件解析
hiscoming的博客
01-13 740
flume常用组件解析flume常用组件解析Avro Source flume常用组件解析 Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具 数据流模型 1.Event是Flume定义的一个数据流传输的最小单元。 2.Agent就是一个Flume的实例，本质是一个JVM进程，该JVM进程控制Event数据流从外部日志生产者那里传输到目的地（或者是下一个Agent）。 3. 一个完整的Agent中包含了三个组件Source、Channel
Flume常用组件示例
不能如期而至的专栏
09-29 222
文章目录安装定义监听端口数据写事件到控制台案例监控单个追加日志文件监控某个文件夹的新文件断点续传文件 安装 1） Flume 官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ 第一步：apache-flume-1.7.0-bin.tar.gz 上传到 linux 并解压到/opt/目录 第二步：将 flu
【大数据常用组件】Flume组件总结
不会debug的攻城狮
03-15 2012
Flume是一个基于分布式的海量日志采集、聚集、传输系统，在大数据领域中得到广泛使用，主要用于采集源数据，工作于数仓中的ODS层。
flume架构图以及模板
莫慌 吃口药
10-06 419
模板： ================主要方式=================== a1.sources = r1 a1.channels = c1 c2 a1.sinks = s1 s2 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir =/root/my a1.sources.r1.selector.type=multipl...
FLume Sink模板代码
a1158375969的专栏
04-27 297
public class SimpleSink extends AbstractSink implements Configurable{ private static final Logger logger = LoggerFactory.getLogger(SimpleSink.class); @Override public synchronized void start() ...
FLume 常用Source配置说明
GCH6969的博客
09-02 2443
1.Source Source 的类型 常用source类型 Avro Source Avro Source监听Avro端口，接收从外部Avro客户端发送来的数据流。如果与上一层Agent的 Avro Sink 配合使用就组成了一个分层的拓扑结构。 样例 a1.sources = r1 a1.channels = c1 a1.sources.r1.type = avro a1.sources.r1.channels = c1 a1.sources.r1.bind = 0.0.0.0 a1.sources.
06_第一层flume配置文件
weixin_56765170的博客
05-11 413
#1、定义agent、source、channel的名称 a1.sources = r1 a1.channels = c1 #2、描述source a1.sources.r1.type = TAILDIR #定义断点续传文件 a1.sources.r1.positionFile = /opt/module/flume/position.json #定义监控的文件组 a1.sources.r1.filegroups = f1 #制定文件组监控的文件 a1.sources.r1.filegroups.f1 =
阶段5模块1
北城寒冰
02-24 464
Flume采集日志，配置如下： a1.sources = r1 a1.sinks = k1 a1.channels = c1 #taildir source a1.sources.r1.type = TAILDIR # 监控文件，这个是有关flume的。这里记录了flume采集到了哪里 a1.sources.r1.positionFile = /liuchang_data/flume_dw/conf/startlog_position.json # 监控的目录 a1.sources.r1.filegrou
Flume 拦截器
最新发布
05-09
### Apache Flume 拦截器的使用与配置 #### 什么是拦截器？ 拦截器是 Apache Flume 的一个重要组成部分，主要用于对事件流中的数据进行处理和转换。通过拦截器，可以实现诸如添加元数据、过滤无用的数据、修改事件内容等功能[^1]。 --- #### 常见的内置拦截器及其功能 Flume 提供了一些常用的内置拦截器来简化开发工作： 1. **时间戳拦截器 (TimestampInterceptor)** 时间戳拦截器会自动为每个事件附加当前的时间戳字段。这对于后续基于时间维度分析数据非常有用。 2. **主机名拦截器 (HostInterceptor)** 主机名拦截器会在事件头信息中加入源主机的信息（如 IP 地址或主机名称），便于区分不同来源的数据。 3. **UUID 拦截器 (UuidInterceptor)** UUID 拦截器为每个事件生成唯一的标识符，有助于追踪单个事件在整个流水线中的流动情况。 4. **正则表达式过滤拦截器 (RegexFilterInterceptor)** 正则表达式过滤拦截器可以根据预设的匹配模式筛选符合条件的事件，从而丢弃不需要的日志记录或其他数据。 5. **摩尔斯码拦截器 (MorphlineInterceptor)** MorphlineInterceptor 是一种强大的工具，允许用户编写复杂的 ETL 脚本来执行高级别的日志解析任务。 以上这些标准插件可以直接应用于大多数场景下而无需额外编程支持[^2]。 --- #### 配置拦截器的方法 要启用某个特定类型的拦截器，在 flume-agent.conf 文件里按照如下模板设置即可： ```properties agent.sources.r1.interceptors = i1 agent.sources.r1.interceptors.i1.type = timestamp # 或其他类型比如 host, regex_filter 等 ``` 这里 `i1` 表示第一个使用的拦截器实例名字；`.type` 属性指定了具体采用哪种类别。如果需要同时应用多个，则继续扩展列表项数以及相应参数声明部分。 对于更复杂的情况——例如定制化逻辑或者组合多种行为时，则可能涉及到创建专属类文件并加载至运行环境中去调用它作为新的选项之一参与进来。 --- #### 自定义拦截器的设计思路 当现有的解决方案无法完全适配业务诉求的时候，开发者可以选择自行构建个性化的版本。以下是基本步骤概述： 1. 继承 org.apache.flume.interceptor.Interceptor 接口； 2. 实现 initialize() 方法完成初始化动作； 3. 完成 intercept(Event event) 函数主体用来单独作用于每一个传入对象之上； 4. 如果涉及批量操作的话还需要重写 intercept(List<Event> events); 5. 不忘记释放资源 close(); 下面给出一段简单的例子展示如何增加固定字符串前缀给每条消息体之前的内容片段: ```java public class PrefixAddingInterceptor implements Interceptor { private String prefix; public static class Builder implements Interceptor.Builder { private String prefix; @Override public void configure(Context context) { this.prefix = context.getString("prefix"); } @Override public Interceptor build() { return new PrefixAddingInterceptor(this.prefix); } } private PrefixAddingInterceptor(String prefix){ this.prefix=prefix; } @Override public Event intercept(Event event) { byte[] body=event.getBody(); String oldBody=new String(body); String newBody=this.prefix+oldBody; event.setBody(newBody.getBytes()); return event; } @Override public List<Event> intercept(List<Event> list) { ... } @Override public void close(){} } ``` 之后记得注册该组件并通过适当途径告知系统其存在位置以便动态引入利用起来[^1]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值