Flume监控目录并读取新添加的文件

最新推荐文章于 2024-01-09 22:07:52 发布
原创 最新推荐文章于 2024-01-09 22:07:52 发布 · 8.9k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#流计算

本文详细介绍了如何使用spoolDirectory作为Flume Agent的source，实现从指定目录监控新文件并自动发送，同时避免重复读取已处理文件。通过配置示例图解，提供了一个易于理解的操作指南。
     官方文档：  http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source
     使用spoolDirectory作为agent的source可以让flume自从监控指定的spoolDir目录，一旦有新文件生成就读取它并将它发送出去，已经读取过的文件会打上.COMPLETE后缀，不会重复发送。具体配置在官方文档中讲解得非常详细，这里列出我自己的例子，简要说明一下。
图1 用于spoolDir的agent配置文件
     主要将type类型设置为spooldir，另外需要指定spoolDir的路径，如图中1和2处所示。
mrshen007
关注
使用Flume spool读取目录文件数据
QYHuiiQ
05-06 601
使用flume spool的source，当被监控的目录下有文件更新，就会将文件数据发给chanel。 创建自定义conf文件 [root@hadoop01 test_conf]# pwd /usr/local/wyh/apache-flume-1.8.0-bin/test_conf [root@hadoop01 test_conf]# cat test-spool-logger.conf myagent.sources=mysource1 myagent.channels=mychannel1 mya
flume监测文件内容及变化
weixin_74865657的博客
10-15 714
本篇主要讲解使用flume实现监控文件的办法，会用到flume 的三大类组件。flume组件说明source 组件指定数据源channel 组件作为一个缓存，连接 source 和 sinksink 组件指定数据目的地Flume是一个可分布式日志收集系统，Flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS。
Flume案例四：实时监控目录下多个新文件(Spooling Directory Source)
扛麻袋的少年的博客
06-24 911
四、Flume案例四：实时监控目录下多个新文件(Spooling Directory Source)（选型：spooling directory source + memory channel + hdfs sink）
flume监控实战3-spoolingDirsource监控文件目录
qq_43662627的博客
10-12 541
spoolingDirsource是安全的，不会丢失数据，但采集文件时不可以被修改，且文件不能重名 #a1是agent的名称，a1中定义了一个叫r1的source，如果有多个，使用空格间隔 a1.sources = r1 a1.sinks = k1 a1.channels = c1 #组名名.属性名=属性值 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/root/flume #定义chanel a1.channels.c1.type=memory
轻松入门大数据 第13章 进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.2 实战之监控某个文件夹下新增的内容并输出到HDFS
代码改变世界
06-07 350
轻松入门大数据 第13章 进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.2 实战之监控某个文件夹下新增的内容并输出到HDFS
Flume 监控目录文件 spooldir
Aurora Silent
07-07 3763
Flume 监控目录文件 spooldirFlume应用场景中监控某个目录下的文件进行读取使用的很多，Flume通过source类型为spooldir来进行监控目录下文件，当新增文件时，Flume可将文件进行读取，开发者只需要编写对应的文件序列化器即可将读取的文件转存至HBase、HDFS、或者其他希望的数据格式。
Flume对文件夹进行监控，实时收集新增文件到HDFS
Rain的博客
03-31 3394
- 背景 由于项目要求，需要实时将指定文件夹中新增的文件上传到HDFS中，本文中使用flume采集数据并保存到HDFS中，一方面可以减轻本地的存储压力，另一方面数据集中保存到HDFS也为后续数据分析工作打下基础。 - 实现流程 flume中的source组件选用spooling directory类型，此类型能对文件目录进行监控并实时收集目录中新增的文件。本文中采用此种类型对本地存储相关数据的目...
Flume-实时监控单目录下的多个新文件案例，实时监控多目录下的多个追加文件案例
一个写湿的程序猿
08-09 1667
文章目录实时监控目录下多个新文件实时监控多目录下的多个追加文件 实时监控目录下多个新文件 1）案例需求： 使用flume监控某个目录下的日志文件，当某个目录下出现符合要求的文件名称的文件时，则对文件中的日志数据进行读取，并将数据最终写入到hdfs上 2）需求分析： 3）实现步骤： （1）创建配置文件files-flume-hdfs.conf 创建一个文件 [qinjl@hadoop102 job]$ vim files-flume-hdfs.conf 添加如下内容 a3.sources = r3 a3.
【Flume】使用Flume监控目录,并将数据存储至HDFS
HR的博客
03-09 2606
使用Flume监控目录,并将数据存储至HDFS conf文件 # 定义source、sinks、channels并且重命名 a1.sources = k1 a1.sinks = r1 a1.channels = c1 # 选择sources方法为spooldir来监控文件夹 a1.sources.r1.type = spooldir # 确定监控的文件夹 a1.sources.r1.spoolDir=/home/data/flume # 当文件背上传之后添加后缀 a1.sources.r1.fileSu
Flume基础知识（五）：Flume实战之实时监控目录下多个新文件
zuodingquan666的博客
01-04 1362
说明：在使用 Spooling Directory Source 时，不要在监控目录中创建并持续修改文件；被监控文件夹每 500 毫秒扫描一次文件变动。在/opt/module/flume 目录下创建 upload 文件夹。（1）创建配置文件 flume-dir-hdfs.conf。使用 Flume 监听整个目录的文件，并上传至 HDFS。（3）向 upload 文件夹中添加文件。向 upload 文件夹中添加文件。（4）查看 HDFS 上的数据。（2）启动监控文件夹命令。
大数据采集技术-Flume监控目录.pptx
12-23
《大数据采集技术——Flume监控目录详解》 大数据采集技术是大数据处理流程中的重要一环，它负责将分散的数据源汇总到一个集中的位置，以便后续进行存储、处理和分析。其中，Apache Flume作为一款高效、可靠且灵活...
Flume1.9.0实时监控目录下多个新文件
BigData2018的博客
05-04 718
1.案例需求：使用Flume监听整个目录的文件，并上传至HDFS 2.实现步骤： （1）创建配置文件flume-dir-hdfs.conf 创建一个文件 [nogc@hadoop102 job]$ vim flume-dir-hdfs.conf 添加如下内容: a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure...
Flume实时抽取监控目录数据
yangcongyangling的博客
03-25 7142
Flume概述 1）Flume是一个分布式的，可靠的，可用的，非常有效率的对大数据的日志进行收集、聚集、移动信息的服务，Flume仅仅运行在linux环境下。 2）Flume是一个基于流式的简单的、灵活的架构，只需要编写三要素：source、channel、sink，然后执行一个命令即可。 3）Flume、kafka实时进行数据收集，spark、storm实时去处理，impala实时查询。
Flume监听多个文件目录，并根据文件名称不同，输出到kafka不同topic中
qinqinde123的博客
12-01 2131
监听多数据源目录，并根据文件名称不一样，输出到kafka不同topic中
Flume监测爬虫文件夹内容并上传到HDFS
m0_52940881的博客
12-23 1104
前面文章提到的爬虫程序编写完成后，在虚拟机上使用python3 ****.py运行，程序中的文件输出路径为/export/nocv_data。这里还采取了负载均衡的策略，也就是我们规定一个组（这里三台），组内一台监测文件夹并将数据包装成事件送出，由另外两台虚拟机上传到hdfs中。另外为了防止数据过多对本地文件占用等问题，我们需要设置deletePolicy参数，将文件采集之后即删除。启动顺序是，先第二级后第一级。之后我们启动flume后，运行爬虫程序，这样就可以实现flume试试上传数据到hdfs上。
Flume监控文件夹
张鑫的博客
08-03 4123
一、需求分析 使用flume监听整个目录的文件 二、上传jar包，具体步骤见上一篇https://blog.youkuaiyun.com/student__software/article/details/81394222 三、配置文件 1、创建：$ touch flume-dir-hdfs.conf 2、编辑内容： 解析重要内容：①文件夹的source类型是spooldir ,具体配置在文档...
flume的文件监视
LMY~~的博客
10-18 1114
flume的文件监视 可以让你学到废
Flume-1.9.0安装、监听端口、监控本地文件并上传HDFS、监控目录新文件并上传HDFS、监控追加文件（断点续传）
H_X_P_的博客
06-04 2183
Flume-1.9.0安装、监听端口、监控本地文件并上传HDFS、监控目录新文件并上传HDFS、监控追加文件（断点续传）
大数据之使用Flume监听本地文件采集数据流到HDFS
2301_78038072的博客
01-09 1399
编写新的Flume配置文件，将数据备份到HDFS目录/user/test/flumebackup下，要求所有主题的数据使用同一个Flume配置文件完成，将Flume的配置截图粘贴至对应报告中。-Dflume.root.logger=INFO,console 打印输出在控制台上。进入/data_log路径运行脚本make_data_file_v1产生数据源。
flume监控文件夹中的文件，每当有新文件上传到hdfs中
最新发布
07-08
要使用 Flume 监控特定目录并在新文件上传时将其内容写入 HDFS，可以通过配置 Flume 的 `spooldir` 或 `TAILDIR` 源来实现。这两种源都支持监控目录中的新增文件，并读取其内容进行传输。 ### 配置 Flume 使用 TAILDIR 源监控目录 `TAILDIR` 源是 Flume 提供的一种高级文件源，能够自动检测并读取新添加到监控目录中的文件，同时支持断点续传功能，适用于实时追加的文件。 #### 示例配置文件（flume-taildir-hdfs.conf） ```properties # 定义 agent 的 sources、channels 和 sinks a3.sources = r1 a3.channels = c1 a3.sinks = k1 # 配置 source (TAILDIR) a3.sources.r1.type = TAILDIR a3.sources.r1.spoolDir = /path/to/monitoring/directory # 要监控的本地目录 a3.sources.r1.fileHeader = true # 可选：是否在事件头中包含文件名 # 配置 channel (memory channel) a3.channels.c1.type = memory a3.channels.c1.capacity = 10000 a3.channels.c1.transactionCapacity = 1000 # 配置 sink (HDFS) a3.sinks.k1.type = hdfs a3.sinks.k1.hdfs.path = hdfs://namenode:8020/user/flume/data/%Y-%m-%d # HDFS 存储路径，支持时间格式化 a3.sinks.k1.hdfs.fileType = DataStream a3.sinks.k1.hdfs.writeFormat = Text a3.sinks.k1.hdfs.rollInterval = 3600 # 滚动间隔（秒） a3.sinks.k1.hdfs.rollSize = 134217728 # 文件大小（字节），128MB a3.sinks.k1.hdfs.rollCount = 0 a3.sinks.k1.hdfs.idleTimeout = 60 # 文件空闲超时时间（秒） # 绑定组件 a3.sources.r1.channels = c1 a3.sinks.k1.channel = c1 ``` #### 启动 Flume Agent 命令 ```bash bin/flume-ng agent --conf conf/ --name a3 --conf-file job/flume-taildir-hdfs.conf ``` 该命令会启动一个名为 `a3` 的 Flume Agent，它将根据 `flume-taildir-hdfs.conf` 中定义的配置监听指定目录，并将新文件的内容上传至 HDFS [^1]。 ### 注意事项 - 确保 Hadoop 集群已经启动，特别是 HDFS 和 YARN 服务。 - `TAILDIR` 源会在监控目录下生成 `.flume_taildir` 文件，用于记录已处理文件的状态，确保重启后不会重复处理。 - HDFS 写入路径支持时间格式化参数，如 `%Y-%m-%d`，可以根据需要调整输出路径结构 [^3]。 - 如果希望将原始文件名信息附加到 HDFS 文件名中，可以启用 `fileHeader` 并结合 `hdfs.fileType = SequenceFile` 或自定义命名策略 [^2]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值