Flume源码之SpoolDirectorySource

最新推荐文章于 2023-07-25 14:09:27 发布
最新推荐文章于 2023-07-25 14:09:27 发布
阅读量1.7k 收藏
点赞数 2
分类专栏： Flume源码阅读 文章标签： 源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/slim68/article/details/64440070
版权
本文深入探讨了Flume的SpoolDirectorySource源码，详细讲解了configure、start方法以及内部线程的run方法。分析了如何从配置文件读取信息、监控目录、文件读取、事件封装、文件删除策略等核心功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SpoolDirectorySource是flume中的一个source，也是我们使用flume中经常接触到的一个source，最近正在使用flume的这个源，就把相关的源码学习了下。

1. 首先我们进入SpoolDirectorySource这个类，先看configure这个方法


这个方法做的事情比较简单。从代码上来看。主要是从配置文件读取一下配置信息，类似需要监控的目录，一些文件的前后缀等等，并且即使没有配置，也给出了相应的默认值，但是需要注意的是spool_directory这个需要配置，也就是监控目录，不然会报出异常。


2. 下面我们进入start方法，这个方法是这个source的开始入口部分，我们看看他主要做了些啥


        第一行我们看到这个source用的是单线程池的模式，也就是说一个source对应于一个处理线程，然后创建一个监控目录的File

最低0.47元/天 解锁文章
Flume Source原理与代码实例讲解
AI天才研究院
06-04 916
Flume Source原理与代码实例讲解 1.背景介绍 在大数据时代,数据是企业最宝贵的资源之一。然而,数据通常分散在不同的系统和位置,如服务器日志、网络流量、社交媒体等。因此,有效地收集和传输这些海量数据至数据存储和分析系统变得至关重要。Apache Flume是一个分布式、可
flume spoolDirectorySource：自定义Deserialize读取多行；彻底解决File has changed size since being read；数据下发存hive
qq_26884367的博客
10-27 1156
flume spoolDirectorySource中的File has changed size since being read与 File has been modified since being read解决；includepath巧用；自定义开发Deserializer读取多行再下发event；flume采集数据存到hive
flume spoolDirectory Source原生代码流程及其拓展
lilyjoke的专栏
09-08 2238
最近小组要在flume的基础上做定制开发，以满足公司内部的业务使用。我这块主要的开发是对zip包中的文件做一定的处理后，以avro方式序列化，写入kafka。整个流程参考了flume的spoolDirectorySource的实现，因为主要是对spooldirectorySource中文件解析的部分进行了参考，所以下面的文章将会着重分析文件的解析部分。 1、  spoolDirector
SpoolDirectorySource使用及源码分析
iteye_14970的博客
11-07 637
Spooling Directory Source简介 Spooling Directory Source可以获取硬盘上“spooling”目录的数据，这个Source将监视指定目录是否有新文件，如果有新文件的话，就解析这个新文件。事件的解析逻辑是可插拔的。在文件的内容所有的都读取到Channel之后，Spooling Directory Source会重名或者是删除该文件以表示文件已经读取完成...
【Java】【Fulme】Flume-NG源码阅读之SpoolDirectorySource
王德封-逐浪
06-24 5868
org.apache.flume.source.SpoolDirectorySource是flume的一个常用的source，这个源支持从磁盘中某文件夹获取文件数据。不同于其他异步源，这个源能够避免重启或者发送失败后数据丢失。flume可以监控文件夹，当出现新文件时会读取该文件并获取数据。当一个给定的文件被全部读入到通道中时，该文件会被重命名以标志已经完成。同时，该源需要一个清理进程来定期移除完成
Spooling Directory Source 使用
he_321的博客
01-29 1755
在使用exec来监听数据源虽然实时性较高，但是可靠性较差，当source程序运行异常或者linux命令中断，都会造成数据的丢失，再恢复正常运行之前，数据的完整性无法得到保证。 Spooling Directory Source通过监听某个目录下的新增文件，并将文件的内容读取出来，实现日志信息的收集。实际使用中会结合log4j进行使用。被传输结束的文件会修改后缀名，添加.completed后缀（可
flume学习05---Spooling Directory Source
chbxw
03-20 1701
Spooling Directory Source此source允许您通过将要提取的文件放入磁盘上的“spooling”目录来提取数据。此源将监视指定目录的新文件，并在新文件显示时解析新文件中的event。event解析逻辑是可插入的。在给定文件被完全读入channel之后，它被重命名以指示完成（或可选地被删除）。与Exec源 Source不同，此source是可靠的，并且不会丢失数据，即使Flum
flume log4f示例源码
09-08
Flume 的 SpoolDirectorySource 会持续监视 Log4j 输出的日志文件，一旦有新的文件产生，就会读取并将其发送到配置的 HDFS 目录。这样，你可以轻松地管理和分析大量的日志数据，尤其是在分布式环境中，Flume 提供了...
FLUME启动报错ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirect
ddbbff2005的博客
03-12 3769
昨晚做项目，一切正常，今天重新执行，报错如下 [ERROR - org.apache.flume.source.SpoolDirectorySource$SpoolDirectoryRunnable.run(SpoolDirectorySource.java:256)] FATAL: Spool Directory source source1: { spoolDir: /home/hdp01/a...
Flume学习12_Flume Spooling directory source读取文件格式的要求
wang_zhenwei的博客
11-08 7985
把Flume的Source设置为 Spooling directory source，在设定的目录下放置需要读取的文件，一些文件在读取过程中会报错。 文件格式和报错如下： 实验一 读取汉子和“；"符号的TXT文档 会报一下错误 2015-11-06 22:16:02,386 (pool-3-thread-1) [ERROR - org.apache.flume.source.
FATAL: Spool Directory source source1: { spoolDir: /usr/local/logs }: Uncaught exception in SpoolDir
热门推荐
wangxj_2017的博客
08-06 1万+
FATAL: Spool Directory source source1: { spoolDir: /usr/local/logs }: Uncaught exception in SpoolDirectorySource thread. Restart or reconfigure Flume to continue processing. flume-conf.properties的配
flume SpoolDirectorySource二次开发新增文件监控
csdn_wr的博客
12-18 452
flume 文件监控 改造
FATAL: Spool Directory source source: { spoolDir: /home/work/local/log }: Uncaught exception in
B11050101的博客
04-29 3493
flume报错如下： 28 Apr 2019 15:08:59,663 ERROR [pool-5-thread-1] (org.apache.flume.source.SpoolDirectoryExtSource2$SpoolDirectoryRunnable.run:277) - FATAL: Spool Directory source source1: { spoolDir: /h...
flume的Spoolingdir下有多个空文件，监控失败的bug
fwzjhbmc的专栏
04-08 1117
今天发现测试机上的flume突然bugo
Flume Source组件实战—Avro、Spool、Exec（详细图文）
夏天小厨的博客
12-11 6612
在Flume原理剖析和安装部署章节，我们最后提到NetCat Source的实例，实现了监听一个指定的网络端口，只要在应用程序向这个端口里面写数据，这个NetCat Source组件就能获取到信息。本章内容继续讲解Flume Source的其他几个常用组件，Avro Source、Spool Source、Exec Source，后两者是属于自动监控读取文件的source组件。因为本文只测试Sou...
【Java】【Fulme】Flume-NG源代码阅读之SpoolDirectorySource
weixin_33915554的博客
05-05 94
        org.apache.flume.source.SpoolDirectorySource是flume的一个经常使用的source，这个源支持从磁盘中某目录获取文件数据。不同于其它异步源，这个源可以避免重新启动或者发送失败后数据丢失。flume可以监控目录，当出现新文件时会读取该文件并获取数据。当一个给定的文件被所有读入到通道中时，该文件会被重命名以标志已经完毕。同一时候...
flume报错Uncaught exception in SpoolDirectorySource thread. java.lang.OutOfMemoryError: Java heap spac
最新发布
weixin_59295776的博客
07-25 328
usr/hdp/2.5.0.0-1245/flume/bin/ flume-ng.distro 启动文件中写死了：JAVA_OPTS="-Xmx20m" 需要手工修改： JAVA_OPTS="-Xms8192m -Xmx8192m -Xss256k -Xmn2g -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:-UseGCOverheadLimit -Dcom.sun.management.jmxremote"
java flume hbase_flume java.nio.charset.MalformedInputException
weixin_27228507的博客
02-24 235
电影评分大作业，flume启动后报如此异常16/07/11 10:48:08 ERROR source.SpoolDirectorySource: FATAL: Spool Directory source r1: { spoolDir: /mnt/project/bootcamp/practise/movielens/data/ml-1m/ }: Uncaught exception in Sp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值