在flume中怎样实现文件的监听

最新推荐文章于 2024-04-26 08:38:28 发布

原创最新推荐文章于 2024-04-26 08:38:28 发布 · 450 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flume #大数据

本文介绍了如何在ApacheFlume1.9.0中配置source、sink和channel，创建并编辑exec-spillable-log.conf配置文件，以及启动agent进行数据监听和节点间通信。

1.首先切换进flume的conf目录中

cd /opt/service/apache-flume-1.9.0-bin/file

file需要自己创建哦最好用来专门存放配置文件

2.编辑配置文件

在flume官网中找到组件的配置代码范例

我们分别找好sink，source，channel这三个组件的配置范例。开始编写配置文件

vim exec-spillable-log.conf

这里我们给文件命名时最好用使用的组件名这样一目了然方便你出错时方便查找对照，因为每一个组件的配置都不一样哦。

配置完保存退出执行命令运行

flume-ng agent -n a1 --conf-file exec-spillable-log.conf -Dflume.root.logger=INFO,console

这样以后我们在新开一个节点，创建一个新的文件

在这个空文件里面写入你想写的内容，保存退出

再回到第一个节点，此时就是监听成功了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

喔

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Flume教程（一）Flume监听目录，将目录中的文件上传HDFS

Java朱老师博客

05-20

1930

在hp3上新建目录/test_flume，让flume监听该文件夹，实际工作中，该目录可以设置为应用系统服务端的日志文件夹。在flume的job文件夹下，新建： touch flume-dir-hdfs.conf 在里面填写内容： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = spooldir #监听的目录位置 a1.sources.r1.spoo

Flume应用篇之实时监控日志并存储至HDFS

HoppingMad的博客

12-18

1076

文章目录前言一、五步法编写Agent配置二、开启监控日志任务1.导入驱动2.启动Agent三、启动Hive测试总结前言提示：本篇为Flume系列的进阶使用，在阅读此文前请务必安装好Flume环境，可以参考日志收集工具Flume的简介与安装，基本使用可以参考Flume基本使用。重复内容不再赘述。本机环境为： CentOS 6.5 CDH 5.3.6 JDK 1.7 一、五步法编写Agent配置由于上篇博客已经创建了一个Agent名为a1，我们这里直接复制它的框架并改名cp a1.conf a2.co.

参与评论您还未登录，请先登录后发表或查看评论

【大数据各平台组件搭建使用精进】flume日志采集-flume案例（9）

hx1156477702的博客

09-29

924

案例1：监控某个文件夹的变化，将添加的新文件采集存入到hdfs 案例2：监控某个文件的变化，把变化的内容存储到hdfs上

设置Flume监听文件内容

weixin_34409741的博客

11-23

335

应用场景按照Hadoop完全分布式安装Flume博文，测试使用了Flume监听文件夹，当文件夹中添加了文件，Flume设置会立马进行收集文件夹中的添加的文件，那么这是一种应用场景，但是如果我们想收集文件中的内容，该如何办呢？比如，linux目录下有一个文件，我会往这个文件...

大数据之Flume：监控多个新文件

weixin_43597208的博客

01-27

448

1）案例需求：使用Flume监听整个目录的文件，并上传至HDFS 2）需求分析： 3）实现步骤：使用组件 spooldir source 1．创建配置文件flume-dir-hdfs.conf 创建一个文件 [hadoop@hadoop101 job]$ vim flume-dir-hdfs.conf 添加如下内容 a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.

Flume监听oracle表增量的步骤详解

09-09

Flume是一种分布式的、可靠地用于收集、聚合和移动大量日志数据的工具，主要用途是日志...在实际操作中，还需要根据实际的数据库表结构和业务需求调整自定义查询语句，以及根据网络情况调整Flume和数据库的配置参数。

Flume监听多个文件目录，并根据文件名称不同，输出到kafka不同topic中

qinqinde123的博客

12-01

2133

监听多数据源目录，并根据文件名称不一样，输出到kafka不同topic中

flume使用四个案例(监听端口，监听文件并传到另外一台电脑，监听文件夹，监听文件夹并将数据保存到hdfs)

weixin_43813200的博客

10-27

1573

flume4个学习案例1.案例一监听端口到界面1.1监听端口配置信息1.2 执行1.3 监听端口测试2监听文件并传到另外一台电脑上界面2.1配置信息(监听文件->avro->nodez001->logger)2.2 执行2.3 测试3 监听文件夹到界面3.1 配置信息3.2 执行3.3 测试4 监听文件到hdfs4.1 配置信息4.2 执行3.3 测试未完待续 1.案例一监听端口到界面 1.1监听端口配置信息 ## 配置信息 ## 文件名 example-netcat.conf a1.s

Flume使用之监听文件夹

FlatTiger的博客

02-23

1976

Flume监听文件夹的Source要指定为Spooling Directory Source。原理：当监听文件夹有文件更新时，flume会将新文件输出到指定目录。源文件会被删除或者标记.COMPLETED后缀（后缀也可自定义），代表此文件已被输出完毕，不会再进行读取。如果文件夹内出现相同名字的文件，flume会抛出异常，此agent线程结束运行。配置： # 定义sources、channels、sinks a1.sources = r1 a1.channels = c1 a1.sinks = k1

Flume使用之Taildir Source监听多个追加文件

FlatTiger的博客

02-23

924

Taildir Source原理： source使用exec时，如果flume采集数据过程中发生了异常，导致agent进程结束。启动agent时，flume会从监听文件的开始位置读取文件，会造成数据的重复。为了避免这一问题，我们可以使用Taildir Source。Taildir Source在采集数据时，会记录每个监听文件的索引位置。索引位置会记录在taildir_position.json文件中。启动agent，flume会从监听文件索引位置开始采集数据。如果监听文件内容被覆盖，索引会重新记录。实现

flume监听文件

QingHuanWu的博客

06-27

491

大数据

flume的文件监视

LMY~~的博客

10-18

1115

flume的文件监视可以让你学到废

flume监听日志文件

在不确定中寻找确定性

03-20

1000

控制台监听打印flume-exec.log文件写入数据 # Define a memory channel called ch1 on agent1 agent1.channels.ch1.type = memory agent1.channels.ch1.capacity = 1000 agent1.channels.ch1.transactionCapacity = 100 # Define an Avro source called avro-source1 on agent1 and tell

【Flume】之监听文件（案例二）

fanfan4569的博客

10-07

1175

前言：参考官网，测试运行。 https://flume.apache.org/FlumeUserGuide.html#exec-source 内容：监控一个文件实时采集新增的数据输出到控制台步骤（1）配置文件 在/conf 下新建配置 exec-memory-logger.conf 配置内容 a1.sources.r1.command = tail -F /home/donald...

Apache Flume（4）：日志文件监控

u013938578的博客

12-15

1073

企业中应用程序部署后会将日志写入到文件中，可以使用Flume从各个日志文件将日志收集到日志中心以便于查找和分析。但是以上方法有重复消费的问题，每次启动都会全量读取log文件里的全部数据，下面我们解决重复消费问题。Exec Source通过指定命令监控文件的变化，加粗属性为必须设置的。可以查看agent控制台接收到了最新的日志。添加配置文件exec-log.conf。

【四】Flume使用：监控文件实时采集新增数据输出到控制台

Sid小杰的博客

07-13

8723

agent选择：exec source + memory channel + logger sinkexec source 运行一个给定的unix命令memory channel channel中的数据放在内存中logger sink 最终把采集到的数据打印到控制台上创建测试用的日志文件mkdir /app/flume/testDatacd /app/flume/testDatatouch tes...

Flume案例3-监听整个目录

ordo120的专栏

04-26

1230

说明：在使用 Spooling Directory Source 时，不要在监控目录中创建并持续修改文件；上传完成的文件会以.COMPLETED 结尾；被监控文件夹每 500 毫秒扫描一次文件变动。使用 Flume 监听整个目录的文件，并上传至 HDFS。（1）创建配置文件 flume-dir-hdfs.conf。(5) 查看HDFS文件是否有upload文件。（4）向 data文件夹中添加文件。

python远程监控服务器多个日志_flume远程监控一个文件

weixin_39593340的博客

12-22

344

Flume学习指南前言好好的学习，才是正道！一、Flume简介flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation)，属于 cloudera。但随着 FLume 功...文章首席提问官2018-09-042015浏览量Flume NG 简介及配置实战Flume 作为 ...

使用flume监听10050端口如何监听