Flume TailDirSource问题

最新推荐文章于 2024-03-14 12:45:17 发布
原创 最新推荐文章于 2024-03-14 12:45:17 发布 · 2.8k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Flume

本文探讨Flume tailDirSource在日志文件名变更时出现的日志丢失问题及解决方案。通过对源码的理解与修改，避免因文件路径变化而将已存在的日志文件误判为新文件，从而实现日志的连续读取。

在使用Flume的tailDirSource时，发现每天凌晨log文件名切换时会丢失日志，查看源码发现，发现log文件名修改后不符合flume file group定义的正则表达式，导致改过名的日志文件不会再被flume读到；后来改了正则表达式，适应改名后的log文件，但发现改名后的log文件会被flume当成新文件，重新读一遍，再看源码，发现tailDirSource通过inode和filePath两个维度来判断是否为新文件，log改名后，filePath不一样，就被tailDirSource视为新的文件，重新读一遍，好了，看下源码怎么修改？

flume-taildir-source工程ReliableTaildirEventReader.java 247行

if (tf == null || !tf.getPath().equals(f.getAbsolutePath())) {
    ...
}

把 !tf.getPath().equals(f.getAbsolutePath()) 这个比较filePath的代码去掉即可！

03_Flume之TaildirSource参数解析
weixin_40727028的博客
04-15 1092
TaildirSource是一种常用的数据源类型，可以实时监控指定目录下新增或修改的文件，并将其发送到Flume的Channel中供后续处理或转发。TaildirSource最大的优点在于兼容多种格式和编码的日志文件，非常适合用于实时采集和分析系统日志和应用日志等场景。
十一：Flume常用Source配置-taildir-source
weizhonggui的博客
01-27 2032
一：Flume概述： Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data ...
Flume-taildirSource模式应用
L, there!
09-03 859
应该场景为监控上传的日志文件目录，日志文件分为sdk和api两种Json格式文件，Flume采用断点续传，对两个类型文件目录进行监控，对类型进行区分，并过滤Json格式不合法的日志，最后发送到Kafka对应类型的Topic。 平台：CDH6.2，Flume1.9 配置 CDH -> Flume -> 实例 -> 选择节点 -> 配置 配置 a1.s...
Flume中的TaildirSource
iie_libi的博客
04-07 3026
Flume中的TaildirSource   关键字：Flume、TaildirSource、TailFile、Source 在通过Flume收集日志的业务场景中，一般都会遇到下面的情况，在日志收集服务器的某个目录下，会按照一段时间生成一个日志文件，并且日志会不断的追加到这个文件中，比如，每小时一个命名规则为log_20151015_10.log的日志文件，所有10点产生的日志都会追加到这个
flume，taildir Source
JiGmin的博客
08-09 614
taildir 特点 官方文档 http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#multiport-syslog-tcp-source 观察指定的文件，一旦检测到添加到每个文件中的新行，就几乎实时跟踪它们。如果正在编写新行，则此源将重试读取它们，等待写入完成。这个源是可靠的，即使拖尾文件旋转，也不会丢失数据。它定...
【Flume 中Taildir Source问题与解决方案】
qq_44141629的博客
11-23 2871
Taildir Source适合用于监听多个实时追加的文件，并且能够实现断点续传 一.上传成功的文件修改后任可以检测到再续传 二.源码中实现是否重新上传是由inode和file名共同决定，只要其中有一个变化就会重新上传，比如hive日志中每一天都会新生成一个hive.log,而前一天的hive.log会加上日期后缀，文件名会更改，这样导致flume重新采集上传，出现冗余 如果采用只监控hive.log，不管后缀，不会有更名影响产生冗余，但是 inode肯定会变化，如果前一天晚上任务挂点，到了第二天看到，那
flume taildir source实时监控多文件
weixin_46122692的博客
11-23 702
1、需求：使用Flume监听多个目录下的多个文件实时追加，并上传至HDFS 2、几种常用source比较 Exec source适用于监控一个实时追加的文件，但不能保证数据不丢失。 Spooldir Source能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控，采集的目录，适合离线采集的场景。 而Taildir Source既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控，既可以做离线采集也可以做实时采集。 3、需求分析 4、创建flume agent配置文件flume-ta
flume taildir source 采集合并日志
花菜回锅肉的博客
01-09 694
taildir source 可以监控一批文件，实时采集信息，且支持断点续传（agent重启后不会重复采集）该场景下，同时监控两个日志文件，一个是docker容器日志，一个是MySQL的系统日志1、使用file_roll sink,重启flume 会新创建一个储存文件，不管source是 exec 还是taildir2、taildir断点续传只是在内容上接续，但不是在原文件中以上是个人实验所得，若有不合适地方，欢迎大家指正。
Flume的TaildirSource配置路径匹配滚动时间（修改源码）
weixin_45594417的博客
04-02 3063
修改Flume中TaildirSource源码采集按时间滚动目录
flume的TaildirSource介绍及升级改造
小强签名设计 的博客
06-09 5120
flume 1.7.0推出了taildirSource组件。tail监控目录下匹配上正则表达式的的所有文件，实现断点续传。 但是我后来发现cdh版的flume-1.6.0也已经有这个组件了，而官方的Apache版的apache-flume-1.6.0-bin却没有这个组件。并且Apache版的flume1.7.0比cdh版的flume1.6.0的org.apache.flume.source.t
Flume-实时监控多个文件的追加内容（TailDir Source）
clearlxj的博客
07-15 891
实时监控目录下的多个追加文件（断点续传） exec-source适用于监控一个实时追加的文件，但不能保证数据不丢失；spooldir-source能够保证数据不丢失，且能够实现断点续传，但延迟略高，不能实时监控；而taildir-source即能够实现断电续传，又可以保证数据不丢失，还能够实时监控，并可以同时监控多个文件夹中的多个文件。 分析：使用Flume监控整个目录的实时追加文件，并打印到控制台输出 先创建好需要监控的文件。 配置文件如下： # Name the components on this
flume--tailDir Source组件
weixin_43191162的博客
05-25 359
简介 假如当下有个需求 要采集服务器的/root/logs/test1/a.log文件中的内容以及/root/logs/test2文件夹中的所有的*.log*文件的内容,该如何实现(同时采集文件以及文件夹的内容) 在flume1.6以及之前,我们在配置文件中只要设置两个source即可,一个spooldir source和一个exec source,在flume1.6之后,考虑到这种情况,flume的开发人员新增了一种全新的组件tailDir Source. 该组件的作用就是可以只指定一个sourc
flume第三讲taildir source(reliable很可靠)
weixin_45896475的博客
04-22 1319
flume第三讲taildir source(reliable很可靠) tail(追踪)不会丢失数据,但是在极端的情况下可能会产生重复采集数据 工作机制 可以动态的采集文件夹下的大量的文件 纪录偏移量offset到指定positionFile保存目录中,格式为json. 重要的参数详解: fileguoups 空格分割的组名,每个组代表着一批文件,g1,g2. fileguoups 每个文件...
flume使用（四）：taildirSource多文件监控实时采集
热门推荐
maoyuanming0806的博客
02-27 2万+
flume使用（一）：入门demo flume使用（二）：采集远程日志数据到MySql数据库 ...
【Flume】TailDirSource源码理解
weixin_33862993的博客
12-14 963
TaildirSource类图如下（列出主要类） TailDirSource类TailDirSource继承了AbstractSource类，而AbstractSource类中channelProcessor属性负责将Source中的Event提交给Channel组件TailDirSource类通过配置参数匹配日志文件，获取日志文件更新内容并且将已经读取的偏移量记录到特定的文件当中(positi...
flume tailsource 重读问题
weixin_34245082的博客
04-28 323
2019独角兽企业重金招聘Python工程师标准>>> ...
Flume使用之Taildir Source监听多个追加文件
FlatTiger的博客
02-23 924
Taildir Source原理： source使用exec时，如果flume采集数据过程中发生了异常，导致agent进程结束。启动agent时，flume会从监听文件的开始位置读取文件，会造成数据的重复。 为了避免这一问题，我们可以使用Taildir Source。Taildir Source在采集数据时，会记录每个监听文件的索引位置。索引位置会记录在taildir_position.json文件中。启动agent，flume会从监听文件索引位置开始采集数据。如果监听文件内容被覆盖，索引会重新记录。 实现
flume数据丢失与重复_flume使用（五）：taildirSource重复获取数据和不释放资源解决办法...
weixin_39912250的博客
12-21 1146
本文针对【一、问题思考(1)log4j的日志文件肯定是会根据规则进行滚动的：当*.log满了就会滚动把前文件更名为*.log.1,然后重新进行*.log文件打印。这样flume就会把*.log.1文件当作新文件，又重新读取一遍，导致重复。(2)当flume监控的日志文件被移走或删除，flume仍然在监控中，并没有释放资源，当然，在一定时间后会自动释放，这个时间根据官方文档设置默认值是120000m...
0301taildir-source报错-flume-大数据
gaogzhen的博客
03-14 1295
0301taildir-source报错-flume-大数据
flume taildirsource source的文件配置
最新发布
03-04
### 配置 Flume TailDirSource #### 一、理解TailDirSource的工作原理 TailDirSource 是一种用于监控多个文件并实时读取新增内容的数据源。它能够通过指定路径和正则表达式来识别目标文件，并持续跟踪这些文件的新数据，适用于日志文件或其他不断更新的文本文件流处理场景[^2]。 #### 二、创建Flume配置文件 为了设置TailDirSource，在`taildir-hdfs.conf`这样的配置文件中定义相应的参数是非常重要的。下面是一个简单的例子： ```properties # 定义Agent名称及其组件类型 a1.sources = r1 a1.sinks = k1 a1.channels = c1 # 设置source为TailDirSource a1.sources.r1.type = TAILDIR a1.sources.r1.positionFile = /path/to/position/file # 记录每个被监视文件当前读取位置的状态文件 a1.sources.r1.filegroups = f1 a1.sources.r1.filegroups.f1 = /var/log/test1/\d{8}/.*\.log$ # 使用正则表达式匹配要监听的日志文件路径模式；这里假设日期格式为YYYYMMDD形式存放在test1子目录下的所有.log结尾文件都会被捕获 # 可选属性：忽略已经存在的旧记录，默认false表示不跳过现有内容而从头开始读取 #a1.sources.r1.ignoreExisting = true # Sink部分可以根据实际需求调整，比如发送至HDFS等存储系统 a1.sinks.k1.type = hdfs a1.sinks.k1.hdfs.path = hdfs://namenode:8020/user/flume/taildir_data/ a1.sinks.k1.hdfs.filePrefix = logs- a1.sinks.k1.hdfs.round = true a1.sinks.k1.hdfs.roundValue = 10 a1.sinks.k1.hdfs.roundUnit = minute # Channel连接source与sink a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # 绑定source, sink 和 channel a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 ``` 上述配置展示了如何利用TailDirSource配合其他组件完成基本的任务设定，其中特别注意的是对于filegroups以及其对应的pattern定义，这决定了哪些文件会被纳入到监控范围内[^1]。 #### 三、部署前准备事项 确保所有的依赖库都已正确安装于集群环境中，特别是当自定义拦截器或者其他扩展功能时可能需要用到额外的JAR包。如果是在Cloudera Manager管理的环境下，则应该按照官方指导将必要的资源放置在适当的位置，例如 `/opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/flume-ng/lib/` 下面[^3]。
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值