flume定制 之 taildir支持子文件目录

最新推荐文章于 2024-06-13 17:57:55 发布
最新推荐文章于 2024-06-13 17:57:55 发布
阅读量1.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： Flume
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40454655/article/details/91961609
本文介绍了如何使 Flume 的 Taildir 源支持子目录监控。通过分析官方文档发现，Taildir 路径仅支持文件名的正则表达式，不支持路径。在测试中，配置为 `/data/taildir/*/.*log` 会导致错误。通过修改 TaildirMatcher.java 中的构造方法，实现了路径正则表达式的支持。将修改后的代码打包替换原有 jar 包后，成功实现对子目录的监控。

1、查看官网，taidir的路径中只有文件名是支持正则表达式的，路径不支持。

2、测试说明:taildir-->memory-->kafka

flume source的配置文件：

将配置文件中的路径修改为/data/taildir/*/.*log的话，flume会报错

3、如何修改？

taildir监控目录时,默认是不支持路径正则表达式的, 源码实现将最后一个"/"前面的作为目录, 只截取了最后一个"/"之后内容作为正则表达式匹配规则.
源码位置 : TaildirMatcher.java

最低0.47元/天 解锁文章

新学期VIP享超值加赠
记Flume监控多级递归目录的解决方案
python_awm的博客
01-21 1668
Flume版本 1.9.0 场景：test文件夹下有目录dir_a,dir_b,以及文件c.log;目录dir_a下又有子目录dir_a_1和文件a_01.log,目录dir_a_1下又可能有子目录和子文件...... 需求：监控test目录下所有递归子目录及子文件变化。 flume官方没有提供 满足需求的Source，可以考虑两种方式： ①自定义Source ②在已有的Source基础上修改源码进行功能拓展 1.下载flume源码包 https://githu...
十一：Flume常用Source配置-taildir-source
weizhonggui的博客
01-27 2001
一：Flume概述： Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data ...
flume taildir二次开发 支持多级目录检索
xinji
11-06 782
tairidr 支持多级目录检索 flume v1.9.0 位置: package org.apache.flume.source.taildir; 修改的方法: getMatchingFilesNoCache //获取匹配的flie List<File> getMatchingFiles() { long now = TimeUnit.SECONDS.toMillis(...
Flume二次开发之Taildir Source实现递归读取目录下文件
゛Never give up~
05-20 753
下载源码包 flume-ng-1.6.0-cdh5.7.0-src.tar.gz 解压导入IDEA 找到我们需要修改的getMatchFiles方法 /** * 修改flume源码，使其支持递归 * @param parentDir * @param fileNamePattern * @return */ private List<File> getMatchFiles(File parentDir, final Pattern fileNamePatt
Flume_Flume常用配置4_taildir.source_memory.channel_hdfs.sink
迎难而上
05-17 1234
以下配置基于版本 apache-flume-1.8.0-bin我们假定已经对Flume有一定了解，并且对Flume 的各个组件有一定了解。我们演示一个基本的 source  为 taildir源channel 为 memorysink 为 hdfs 类型的配置示例：上一个配置中，我们对spooldir 源进行了简单的讲解，也提出了spooldir 中存在的问题，这一章我们对 1.8新推出的tail...
使用flume将本地文件（/opt/app/flume_test/test2024.txt）采集到kafka的first主题下
最新发布
yzx20030123的博客
06-13 749
使用flume将本地文件（/opt/app/flume_test/test2024.txt）采集到kafka的first主题下
大数据之flume（一）
wslzoooo的博客
02-23 1098
flume是一个分布式、高可用、高可靠的海量日志采集、聚合、传输系统，支持在日志系统中定制各种数据发送方从而收集数据，并提供数据简单处理能力并传到各种数据接收方。flume设计原理是基于数据流的，能够将不同数据源的海量日志进行高效收集、聚合、移动、存储，能做到近似实时。自定义拦截器自定义source自定义sink。
Kafka集成Flume
Jery.Peng的博客
05-23 1642
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 日志收集 Flume最早是Cloudera提供的日志收集系统，是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。 数据处理 Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 。Flume提供了从cons
flume-taildir/glob语法/路径迭代
九天的博客
05-21 619
flume-taildir/glob语法/路径迭代 最近在使用flume的taildir做多文件监控，发现配置路径的增则表达式不起作用，跟踪源码发现： TaildirMatcher(String fileGroup, String filePattern, boolean cachePatternMatching) { // store whatever came from configu...
FLUME如何使TAILDIR SOURCE支持递归监控文件夹
lihuazaizheli的博客
10-26 1674
文章目录1.flume的source选择1.1 TAILDIR Souce支持断点还原1.2 可配置文件组，里面使用正则表达式配置多个要监控的文件2. TAILDIR不能覆盖的场景3. 修改源代码，使得flume支持递归监控文件夹。3.1 flume taildir source源码结构3.2 TaildirSource 核心类解析3.2.1 start方法会使用建造者模式 构建创建一个ReliableTaildirEventReade3.2.2 【改源码重点】process方法3.3 修改源码3.3.
flume使用taildir，监控多个文件夹下的多个文件
weixin_41590998的博客
11-13 3449
在flume1.6及之前，要监控多个目录下的多个文件，可以使用Filelistener，在flume1.7之后，增加了TAILDIR，主要是监控文件的变化 下面介绍taildir的使用： 第一步：在flume中创建conf配置文件，我的是创建在：flume下的job文件夹中，job文件夹是我自定义的用来存放conf配置文件的： /opt/module/flume/job/flume-mysourc...
Flume中的TaildirSource
iie_libi的博客
04-07 3005
Flume中的TaildirSource   关键字：Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中，一般都会遇到下面的情况，在日志收集服务器的某个目录下，会按照一段时间生成一个日志文件，并且日志会不断的追加到这个文件中，比如，每小时一个命名规则为log_20151015_10.log的日志文件，所有10点产生的日志都会追加到这个
轻松入门大数据 第13章 进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.4 【重要必掌握】实战之TAILDIR断点续传收集数据
谢谢你们的关注
06-09 377
轻松入门大数据 第13章 进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.4 【重要必掌握】实战之TAILDIR断点续传收集数据
Flume1.7.0的TaildirSource介绍
在路上的学习者
07-02 1万+
使用更改后的TaildirSource，可以递归地监听配置目录的动态变化的文件。需求描述使用了SpoolDirectorySource可以配置一个监听目录，会监听该目录下所有的文件，但是如果配置目录下面嵌套了子目录，则无法监听，通过修改源码，我们可以递归地对配置目录的所有子目录的所有文件进行监听，见上一篇文章 Flume的Spooling Directory Source支持Sub-director
Flume-ng spoolDir目录监控踩过的坑
Just do IT.
08-16 1万+
使用Flume-ng1.6 spoolDir收集日志遇到的问题 1.文件解码 2.copy文件
Flume实时抽取监控目录数据
lm709409753的专栏
12-25 7186
什么是flumeFlume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。它是一个基于流数据的简单而灵活的架构。具有健壮的可靠性，容错性及故障转移和恢复机制。flume原理简介（博客上看到的）这是一个关于池子的故事。有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口。水术语称为Event，进水口术语称为Source、出
flume实例（一）：监控目录
小蚯蚓的博客
10-08 1998
1.实现功能： 监控目录，一旦目录内增加数据，即传递到hdfs上。 2.配置文件dir-sink-hdfs.properties #a1表示代理名称 a1.sources=s1 a1.sinks=k1 a1.channels=c1 #配置source1 监控目录是否有文件数据生成 a1.sources.s1.type=spooldir a1.sources.s1.spoolDi...
Flume TailDir 基本流程
热门推荐
eiffel_0311的博客
10-27 8万+
taildir 工作流程
Flume 1.7实现在Windows下的taildir支持
而文件名称列表与标题相同，这表明该压缩包内可能只包含了一个文件，即与 Flume 1.7 的 taildir 支持 Windows 相关的配置、文档、脚本或其他资源文件。 #### 结论 Flume 作为一个强大的日志数据收集工具，随着版本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值