flume监控端口；文件；目录三种方式

最新推荐文章于 2024-04-22 13:28:08 发布
最新推荐文章于 2024-04-22 13:28:08 发布
阅读量1.2k 收藏
点赞数
分类专栏： 学习 文章标签： 学习
本文详细介绍了使用Flume进行实时数据采集的多个案例，包括监控端口数据、读取本地文件到HDFS、监控目录文件到HDFS以及Flume间的复杂数据传递流程。通过这些实践案例，读者可以深入了解Flume在不同场景下的应用技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

案例一：监控端口数据
112主机端口输入数据
在端口这里插入图片描述
112主机控制台监控结果
在这里插入图片描述
案例二：实时读取本地文件到HDFS
hdfs监控文件
在这里插入图片描述
停止flume后hdfs文件刷新
在这里插入图片描述
多次追加内容到本地文件 /opt/flume-hdfs
在这里插入图片描述

案例三：实时读取目录文件到HDFS
本地upload目录下的文件
在这里插入图片描述
flume监控显示
在这里插入图片描述
hdfs目录
在这里插入图片描述
Flume与Flume之间数据传递：单Flume多Channel、Sink
flume1
在这里插入图片描述
flume2
在这里插入图片描述
flume3
在这里插入图片描述
flume2对应得hdfs目录flume2，得到得数据
在这里插入图片描述
flume3从flume1得到的文件存到本地 /opt/flume3
在这里插入图片描述
flume与flume之间的扇入连接测试
flume33接收来自flume11 本地目录文件，flume22的端口数据
在这里插入图片描述
flume22端口输入数据
在这里插入图片描述
flume11本地文件夹下的文件
在这里插入图片描述
flume33拿到的数据存到bigdata112 flume3文件夹下
在这里插入图片描述

flume监测文件内容及变化
weixin_74865657的博客
10-15 643
本篇主要讲解使用flume实现监控文件的办法，会用到flume 的三大类组件。flume组件说明source 组件指定数据源channel 组件作为一个缓存，连接 source 和 sinksink 组件指定数据目的地Flume是一个可分布式日志收集系统，Flume最主要的作用：实时读取服务器本地磁盘的数据，将数据写入到HDFS。
Flume监控文件夹
s657847090的博客
08-12 726
在hadoop全分布的环境下上传flume包 解压flume包 tar -zxvf flume~~/ -C /usr/local/src/ 修改文件夹名 cd /usr/local/src/ mv flume~/ flume 配置flume环境变量 export FLUME_HOME=/usr/local/src/flume export PATH=$FLUME_HOME/bin:$PATH 打开flume-env.sh修改jdk路径 cd /usr/local/src/
任务13：13_Flume案例_监控本地文件夹（配置文件）
有上进心的阿龙
01-05 467
上午实现的是一个监控一个动态的文件，上传到hdfs,这个动态的文件就是hive的日志文件。 之前监控的动态的文件时一行一行的读取数据，效率比较低。 现在的实例就是： 现在有个文件夹，每天往里面放新文件，整个文件放进去。这个文件放进去之后就不会改变了。之前的tail -F也可以，再写一个正则表达式，文件的格式统一就可以，但是时一行一行读取的，效率很低。我们就要用到另外一个source—spooldir source 现在的source不再是之前的netcat或者exec了 他们不能一次性把文件上传。类似于
Flume-Exec Source 监控单个本地文件
weixin_30596735的博客
09-21 360
实时监控，并上传到 HDFS 中。 一、Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包 若 Hadoop 环境和 Flume 在同一节点，那么只要配置 Hadoop 环境变量即可，不需要复制相关 jar 包。 # 将相关包拷贝到 flume 的 lib 目录下 # commons-configuration-x.x.jar # hado...
Flume的安装与Flume监控端口数据官方案例
qq_55906442的博客
12-01 2259
Flume的安装与Flume监控端口数据官方案例
实时计算组件Flume使用-监控端口数据
fanxin1000的专栏
02-26 581
Flume的下载与安装配置，完成 Flume 监听一个端口，收集该端口数据，并打印到控制台。
大数据采集技术-Flume监控端口实验手册.pdf
12-23
通过构建可配置的、容错的、高可用的数据管道，Flume 提供了一种有效处理大规模日志数据的方式。 二、Flume 监控端口 Flume 的端口监控功能允许我们监听特定的网络端口，接收来自不同源的数据流。当数据到达指定...
Flume案例1-监控端口数据
ordo120的专栏
04-22 2357
（1）将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/package目录下。（4）在 job 文件夹下创建 Flume Agent 配置文件 flume-netcat-logger.conf。（2）解压 apache-flume-1.9.0-bin.tar.gz 到/opt/program/目录下。（5）在 flume-netcat-logger.conf 文件中添加如下内容。（3）修改 apache-flume-1.9.0-bin 的名称为 flume。
Flume监控端口数据案例
m0_63449353的博客
10-25 293
1.需求分析 2.实现步骤 安装telnet工具 将rpm软件包(xinetd-2.3.14-40.el6.x86_64.rpm、telnet-0.17-48.el6.x86_64.rpm和telnet-server-0.17-48.el6.x86_64.rpm)拷入/opt/software文件夹下面。执行RPM软件包安装命令： [zz@hadoop102 software]$ sudo rpm ...
黑猴子的家：Flume案例 监控文件夹
黑猴子的博客
09-12 231
使用Flume监听整个目录的文件 1、创建配置文件flume-dir.conf a3.sources = r3 a3.sinks = k3 a3.channels = c3 # Describe/configure the source a3.sources.r3.type = spooldir a3.sources.r3.spoolDir = /opt/module/flume/uplo...
Flume使用之监听文件夹
FlatTiger的博客
02-23 1931
Flume监听文件夹的Source要指定为Spooling Directory Source。 原理： 当监听文件夹有文件更新时，flume会将新文件输出到指定目录。源文件会被删除或者标记.COMPLETED后缀（后缀也可自定义），代表此文件已被输出完毕，不会再进行读取。如果文件夹内出现相同名字的文件，flume会抛出异常，此agent线程结束运行。 配置： # 定义sources、channels、sinks a1.sources = r1 a1.channels = c1 a1.sinks = k1
Flume监测爬虫文件夹内容并上传到HDFS
m0_52940881的博客
12-23 1061
前面文章提到的爬虫程序编写完成后，在虚拟机上使用python3 ****.py运行，程序中的文件输出路径为/export/nocv_data。这里还采取了负载均衡的策略，也就是我们规定一个组（这里三台），组内一台监测文件夹并将数据包装成事件送出，由另外两台虚拟机上传到hdfs中。另外为了防止数据过多对本地文件占用等问题，我们需要设置deletePolicy参数，将文件采集之后即删除。启动顺序是，先第二级后第一级。之后我们启动flume后，运行爬虫程序，这样就可以实现flume试试上传数据到hdfs上。
Flume监听多个文件目录，并根据文件名称不同，输出到kafka不同topic中
qinqinde123的博客
12-01 2067
监听多数据源目录，并根据文件名称不一样，输出到kafka不同topic中
Flume教程（一）Flume监听目录，将目录中的文件上传HDFS
Java朱老师博客
05-20 1861
在hp3上新建目录/test_flume，让flume监听该文件夹，实际工作中，该目录可以设置为应用系统服务端的日志文件夹。 在flume的job文件夹下，新建： touch flume-dir-hdfs.conf 在里面填写内容： a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = spooldir #监听的目录位置 a1.sources.r1.spoo
Flume经典案例之实时监控目录下的多个追加文件（保姆级教程）
wanjialin的博客
12-26 820
准备工作： 1、准备几个文件 2、提前建好文件夹用于存放文件 操作步骤： 1、创建配置文件taildirsource_loggersink.conf 内容如下： a1.sources=r1 a1.channels=c1 a1.sinks=k1 a1.sources.r1.type=TAILDIR a1.sources.r1.positionFile = /opt/soft/flume190/tail_dir.json a1.sources.r1.filegroups = f1 f2 a1.sources
Flume之——监控
冰河的专栏
08-02 798
转载请注明出处：https://blog.youkuaiyun.com/l1028386804/article/details/98127601 Http监控 这种监控方式比较简单，只需要在启动Flume命令中加入Http监控配置，如下命令所示： flume-ng agent -c /usr/local/flume-1.9.0/conf -f /usr/local/flume-1.9.0/conf/f...
Flume监控文件内容拉取到Kafka消费
Mr Huo
11-30 2517
1 zookeeper的安装配置 1.1 ZK配置(安装过程省略) 1.1.1安装完成后进入到zk的安装目录下的conf目录 [hadoop@mini01 ~]$ cd /home/install/zookeeper/conf [hadoop@mini01 conf]$ 1.1.2重命名zoo_sample.cfg 为zoo.cfg [hadoop@mini01 conf]$ mv zoo_s...
Flume监听文件夹并上传到HDFS
这是饭多多的博客
05-11 774
监听/tools/flume文件夹，并上传到hdfs的flume目录下，且目录为当天的日期，并自定义监控文件前缀为：flu-
flume侦听端口
最新发布
05-15
使用命令进入 Flume 的配置目录并创建一个新的配置文件： ```bash cd /root/software/apache-flume-1.9.0-bin/conf/ touch flume_netcat.conf ``` 2. **编辑配置文件内容** 编辑刚刚创建的 `flume_netcat....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值