flume监控端口；文件；目录三种方式

最新推荐文章于 2023-05-11 17:03:50 发布
转载 最新推荐文章于 2023-05-11 17:03:50 发布 · 1.2k 阅读 · 0
文章标签：

#学习

本文详细介绍了使用Flume进行实时数据采集的多个案例，包括监控端口数据、读取本地文件到HDFS、监控目录文件到HDFS以及Flume间的复杂数据传递流程。通过这些实践案例，读者可以深入了解Flume在不同场景下的应用技巧。

案例一：监控端口数据
112主机端口输入数据
在端口这里插入图片描述
112主机控制台监控结果
在这里插入图片描述
案例二：实时读取本地文件到HDFS
hdfs监控文件
在这里插入图片描述
停止flume后hdfs文件刷新
在这里插入图片描述
多次追加内容到本地文件 /opt/flume-hdfs
在这里插入图片描述

案例三：实时读取目录文件到HDFS
本地upload目录下的文件
在这里插入图片描述
flume监控显示
在这里插入图片描述
hdfs目录
在这里插入图片描述
Flume与Flume之间数据传递：单Flume多Channel、Sink
flume1
在这里插入图片描述
flume2
在这里插入图片描述
flume3
在这里插入图片描述
flume2对应得hdfs目录flume2，得到得数据
在这里插入图片描述
flume3从flume1得到的文件存到本地 /opt/flume3
在这里插入图片描述
flume与flume之间的扇入连接测试
flume33接收来自flume11 本地目录文件，flume22的端口数据
在这里插入图片描述
flume22端口输入数据
在这里插入图片描述
flume11本地文件夹下的文件
在这里插入图片描述
flume33拿到的数据存到bigdata112 flume3文件夹下
在这里插入图片描述

Flume使用之监听文件夹
FlatTiger的博客
02-23 1970
Flume监听文件夹的Source要指定为Spooling Directory Source。 原理： 当监听文件夹有文件更新时，flume会将新文件输出到指定目录。源文件会被删除或者标记.COMPLETED后缀（后缀也可自定义），代表此文件已被输出完毕，不会再进行读取。如果文件夹内出现相同名字的文件，flume会抛出异常，此agent线程结束运行。 配置： # 定义sources、channels、sinks a1.sources = r1 a1.channels = c1 a1.sinks = k1
flume监测文件内容及变化
weixin_74865657的博客
10-15 707
本篇主要讲解使用flume实现监控文件的办法，会用到flume 的三大类组件。flume组件说明source 组件指定数据源channel 组件作为一个缓存，连接 source 和 sinksink 组件指定数据目的地Flume是一个可分布式日志收集系统，Flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS。
Flume监听多个文件目录，并根据文件名称不同，输出到kafka不同topic中
qinqinde123的博客
12-01 2126
监听多数据源目录，并根据文件名称不一样，输出到kafka不同topic中
任务13：13_Flume案例_监控本地文件夹（配置文件）
有上进心的阿龙
01-05 490
上午实现的是一个监控一个动态的文件，上传到hdfs,这个动态的文件就是hive的日志文件。 之前监控的动态的文件时一行一行的读取数据，效率比较低。 现在的实例就是： 现在有个文件夹，每天往里面放新文件，整个文件放进去。这个文件放进去之后就不会改变了。之前的tail -F也可以，再写一个正则表达式，文件的格式统一就可以，但是时一行一行读取的，效率很低。我们就要用到另外一个source—spooldir source 现在的source不再是之前的netcat或者exec了 他们不能一次性把文件上传。类似于
Flume监控文件夹
张鑫的博客
08-03 4122
一、需求分析 使用flume监听整个目录的文件 二、上传jar包，具体步骤见上一篇https://blog.youkuaiyun.com/student__software/article/details/81394222 三、配置文件 1、创建：$ touch flume-dir-hdfs.conf 2、编辑内容： 解析重要内容：①文件夹的source类型是spooldir ,具体配置在文档...
Flume的安装与Flume监控端口数据官方案例
qq_55906442的博客
12-01 2284
Flume的安装与Flume监控端口数据官方案例
实时计算组件Flume使用-监控端口数据
fanxin1000的专栏
02-26 615
Flume的下载与安装配置，完成 Flume 监听一个端口，收集该端口数据，并打印到控制台。
大数据采集技术-Flume监控端口实验手册.pdf
12-23
通过构建可配置的、容错的、高可用的数据管道，Flume 提供了一种有效处理大规模日志数据的方式。 二、Flume 监控端口 Flume 的端口监控功能允许我们监听特定的网络端口，接收来自不同源的数据流。当数据到达指定...
Java大数据-Flume基础架构、监听数据端口、实时监控单个追加文件、实时监控目录下多个新文件、实时监控目录下的多个追加文件
godkzz的博客
12-24 471
一、Flume 定义 Flume 是Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 基础架构 （1）Agent Agent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的。 Agent 主要有 3 个部分组成，Source、Channel、Sink。 （2）Source Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种...
Flume监控端口数据案例
m0_63449353的博客
10-25 317
1.需求分析 2.实现步骤 安装telnet工具 将rpm软件包(xinetd-2.3.14-40.el6.x86_64.rpm、telnet-0.17-48.el6.x86_64.rpm和telnet-server-0.17-48.el6.x86_64.rpm)拷入/opt/software文件夹下面。执行RPM软件包安装命令： [zz@hadoop102 software]$ sudo rpm ...
Flume-Exec Source 监控单个本地文件
weixin_30596735的博客
09-21 373
实时监控，并上传到 HDFS 中。 一、Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包 若 Hadoop 环境和 Flume 在同一节点，那么只要配置 Hadoop 环境变量即可，不需要复制相关 jar 包。 # 将相关包拷贝到 flume 的 lib 目录下 # commons-configuration-x.x.jar # hado...
黑猴子的家：Flume案例 监控文件夹
黑猴子的博客
09-12 246
使用Flume监听整个目录的文件 1、创建配置文件flume-dir.conf a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.type = spooldir a3.sources.r3.spoolDir = /opt/module/flume/uplo...
Flume监测爬虫文件夹内容并上传到HDFS
m0_52940881的博客
12-23 1102
前面文章提到的爬虫程序编写完成后，在虚拟机上使用python3 ****.py运行，程序中的文件输出路径为/export/nocv_data。这里还采取了负载均衡的策略，也就是我们规定一个组（这里三台），组内一台监测文件夹并将数据包装成事件送出，由另外两台虚拟机上传到hdfs中。另外为了防止数据过多对本地文件占用等问题，我们需要设置deletePolicy参数，将文件采集之后即删除。启动顺序是，先第二级后第一级。之后我们启动flume后，运行爬虫程序，这样就可以实现flume试试上传数据到hdfs上。
Flume教程（一）Flume监听目录，将目录中的文件上传HDFS
Java朱老师博客
05-20 1920
在hp3上新建目录/test_flume，让flume监听该文件夹，实际工作中，该目录可以设置为应用系统服务端的日志文件夹。 在flume的job文件夹下，新建： touch flume-dir-hdfs.conf 在里面填写内容： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = spooldir #监听的目录位置 a1.sources.r1.spoo
Flume经典案例之实时监控目录下的多个追加文件（保姆级教程）
wanjialin的博客
12-26 842
准备工作： 1、准备几个文件 2、提前建好文件夹用于存放文件 操作步骤： 1、创建配置文件taildirsource_loggersink.conf 内容如下： a1.sources=r1 a1.channels=c1 a1.sinks=k1 a1.sources.r1.type=TAILDIR a1.sources.r1.positionFile = /opt/soft/flume190/tail_dir.json a1.sources.r1.filegroups = f1 f2 a1.sources
Flume之——监控
冰河的专栏
08-02 901
转载请注明出处：https://blog.youkuaiyun.com/l1028386804/article/details/98127601 Http监控 这种监控方式比较简单，只需要在启动Flume命令中加入Http监控配置，如下命令所示： flume-ng agent -c /usr/local/flume-1.9.0/conf -f /usr/local/flume-1.9.0/conf/f...
Flume监控文件内容拉取到Kafka消费
Mr Huo
11-30 2546
1 zookeeper的安装配置 1.1 ZK配置(安装过程省略) 1.1.1安装完成后进入到zk的安装目录下的conf目录 [hadoop@mini01 ~]$ cd /home/install/zookeeper/conf [hadoop@mini01 conf]$ 1.1.2重命名zoo_sample.cfg 为zoo.cfg [hadoop@mini01 conf]$ mv zoo_s...
Flume监听文件夹并上传到HDFS
这是饭多多的博客
05-11 801
监听/tools/flume文件夹，并上传到hdfs的flume目录下，且目录为当天的日期，并自定义监控文件前缀为：flu-
使用flume监控端口号44455，输出结果到控制台
最新发布
10-17
要使用 Flume 监控端口号 44455 并将输出结果显示到控制台，可以通过配置 Flume 的 Agent 来实现。以下是详细步骤和示例配置： ### 1. 创建 Flume 配置文件 首先，需要创建一个 Flume 的配置文件，例如命名为 `...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值