大数据NiFi（二十一）：监控日志文件生产到Kafka

已于 2023-11-16 23:46:42 修改
阅读量643 收藏 8
点赞数 7
文章标签： kafka 大数据 java NiFi
于 2023-02-27 07:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiaoweite1/article/details/129233602
版权
该博客介绍了如何配置NiFi的'TailFile'和'PublishKafka_1_0'处理器，实现实时监控日志文件并将内容发送到Kafka集群。详细步骤包括设置'TailFile'处理器跟踪文件，配置'PublishKafka_1_0'处理器发送数据到指定的Kafka主题，并进行了运行测试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

监控日志文件生产到Kafka

一、配置“TailFile”处理器

二、配置“PublishKafka_1_0”处理器

1、创建“PublishKafka_1_0”处理器

2、配置“PROPERTIES”

3、连接“TailFile”处理器和“PublishKafka_1_0”处理器

三、运行测试

1、启动Kafka集群，启动NiFi处理流程

2、向/root/test/logdata文件中写入数据并保存

3、查看Kafka中自动创建的“nifi_topic”中的数据

监控日志文件生产到Kafka

案例：监控某个目录下的文件内容，将消息生产到Kafka中。

此案例使用到“TailFile”和“PublishKafka_1_0”处理器。

一、​​​​​​​配置“TailFile”处理器

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_实际操作---大数据之Nifi工作笔记0020
添柴程序猿的专栏
04-04 323
配置的时候这里我们设置一下run schedule,如果这里是0sec的话,那么说明数据会,连续生成,给服务器带来的压力就会比较大,所以这里。可以看到这里配置的时候,这个execution这里我们就可以设置为all nodes了,因为压力取决于生产数据的速度对吧。可以看到这里启动以后,已经在生成数据了对吧这里,queued,队列来了有3个文件了,一个是10B,3个是30Bytes。连接以后,然后这里设置一下,这里的for relationships,这里是,success 成功的时候再去把内容放到。
大数据集成方案对比：Kafka vs Flume vs Sqoop
最新发布
AI天才研究院
04-29 879
随着企业数字化转型加速，数据孤岛问题日益突出。大数据集成工具的核心价值在于解决多源异构数据的高效流动问题。实时数据流传输（如用户行为日志、IoT设备数据）日志集中式收集（如服务器集群日志汇总）关系型数据库与大数据平台的批量迁移（如MySQL到Hive）通过对比Kafka、Flume、Sqoop的技术特性，为开发者提供明确的选型依据。核心概念与架构对比（第2章）技术原理深度解析（第3-4章）实战案例与代码演示（第5章）应用场景与选型策略（第6章）工具资源与未来趋势（第7-8章）
flume 读文件spooldir 写入kafka
hello_java_lcl的博客
06-16 410
flume配置文件 #source: sdir sink: skafka channel: d2k agent1.sources = sdir agent1.sinks = skafka agent1.channels = d2k #d2k skafka agent1.sinks.skafka.channel = d2k #sdir d2k agent1.sources.sdir.channels = d2k ...
Nifi--从Mysql抛转数据到kafka
u013071014的博客
01-10 1666
Nifi–从Mysql抛转数据到kafka 1. 概览 2. GenerateTableFetch Relationships勾选failure Database Connection Pooling Service 配置连接池，包含：连接地址、驱动、驱动地址、用户名、密码，配置完成后将状态置为Enable GenerateTableFetch和ExecuteSQLRecord之间的连接(Connection)勾选success 3. ExecuteSQLRecord Relat
flume监控日志上传到kafka
weixin_43808675的博客
02-16 558
安装 安装1.8版本对应jdk1.8 修改后缀是template的文件 连接kafka source为exec 配置flume-conf.properties agent.sources = s1 agent.channels = c1 agent.sinks = k1 # For each one of the sources, the type is defined agent.sources.s1.type = exec agent.sources.s1.channels = c1 # t
实时监听文件写入kafka
数据技术控
08-26 7068
背景 需要实时采集到落到的日志文件数据，写入kafka，最后接入Storm实时计算，日志文件格式分为格两种形式 1、一个目录里多类型日志数据 /LOG/WWW.XXX.COM_YYYYMMDD.XX.log /LOG/M.XXX.COM_YYYYMMDD.XX.log /LOG/APP.XXX.COM_YYYYMMDD.XX.log 每种类型日志的文件写到一定大小，会产生一个新文
大数据ETL工具比较：Sqoop vs Flume vs Kafka
AI天才研究院
04-22 931
随着企业数字化转型加速，数据规模呈指数级增长，数据来源从传统关系型数据库扩展到日志、IoT传感器、用户行为等多模态场景。ETL作为数据管道的核心组件，其工具选择直接影响数据处理的效率与可靠性。本文聚焦大数据领域最常用的三款ETL工具——Sqoop、Flume、Kafka，系统对比其技术特性、适用场景及最佳实践，覆盖从基础概念到实战落地的全流程。第2章解析核心概念与架构，通过Mermaid图可视化三者的技术架构；第3章深入算法原理，结合代码示例说明关键机制；
【大数据】Flink + Kafka 实现通用流式数据处理详解
congge
10-27 1万+
Flink + Kafka 实现通用流式数据处理详解
Nifi实战：GetFile到PutFile的数据流转
通过监控日志和界面，可以验证文件是否正确地从源位置移动到了目标位置，并处理任何可能出现的异常，例如文件名冲突。 **应用场景** NiFi的这种基本工作流程在很多场景下都非常实用，例如： - 日志数据收集：从...
NiFi日志调整
weixin_43172032的博客
12-04 1764
NiFi日志调整一， conf/logback.xml 默认的NiFi log配置会产生大量的日志，我们的生产环境多次出现硬盘写满的情况（NiFi集群只执行流式计算不存数据，所以硬盘不大）。 一， conf/logback.xml 默认配置: <configuration scan="true" scanPeriod="30 seconds"> <contextListener class="ch.qos.logback.classic.jul.LevelChangePropaga
nifi操作文档-官方
09-05
nifi最权威的官方文档，要想查询最新的配置请仔细阅读此文档
kafka读取写入数据
08-24
kafka读取写入数据
nifi发送消息到Kafka--示例
Younge的专栏
12-30 7663
从Ftp指定目录抽取文件，将文件内容更换为文件名和文件抽取路径，并将此内容发送到kafka主题为test1下的消息队列中。
大数据之-Nifi-监控nifi处理数据的状态信息_处理数据的状态栏_组件统计_公告BUG信息---大数据之Nifi工作笔记0010
添柴程序猿的专栏
02-19 726
然后就是公告了,公告可以显示,nifi中运行过程中产生的bug,会把错误信息,以及这个错误信息发生在哪个节点都显示出来.然后中间队列,可以看到下面,两个小横线,左侧是未处理的flowfile的个数和状态,右边是文件的大小和状态,后面会再说。可以看到这里pickup这个getfile处理器,可以看到in这里,说了文件的输入个数,以及大小。然后中间的那个队列,显示了队列中的要处理的flowfile的 个数和大小。首先可以看到状态栏,可以提供活动现场的数量,排队统计信息,等等。可以看到这里,可以选择看什么内容.
利用NiFi进行数据处理与业务监控：实现实时监控
AI天才研究院
07-20 4025
作者：禅与计算机程序设计艺术 随着互联网企业对数据的收集、存储、分析、应用及管理等方面需求的增加，如何在不断变化的业务环境中实时地获取、分析并利用数据变得越来越成为企业关注和解决的难题。而Apache NiFi（Niagara Files Integration for Dataflow）是一个开源项目，它可以用来进行复杂的数据流动与集成
大数据NiFi（十三）：NiFi监控
Lansonli（蓝深李）的博客
01-10 1118
这是一个滚动窗口,允许我们查看处理器消耗的FlowFiles数量,以及处理器发出的FlowFiles数量。它包含一些关于NiFi当前健康状况的重要统计数据：活动线程的数量可以指示NiFi当前的工作状态,排队统计数据表示当前在整个流程中排队的FlowFile数量以及这些FlowFiles的总大小。可以通过“公告指示”来查看事件处理日志信息，默认级别是“WARN”级别，可以在处理器配置中设置，当有对应级别的事件信息产生时，才会显示。：组内正在运行的处理器个数。：组内已经停止的处理器个数。：组内无效处理器数量。
4、NiFi集群部署及验证、监控及节点管理
热门推荐
alanchanchn的专栏
05-11 6万+
如果投票时间(nifi.cluster.flow.election.max.wait.time)到了或者某一个flow.xml.gz已经达到票数（nifi.cluster.flow.election.max.candidates），则选出一个正确的flow.xml.gz。集群中的每个节点都对数据执行相同的任务，但每个节点都在不同的数据集上运行。如果集群协调器确定允许该节点加入(基于其配置的防火墙文件)，则将当前流提供给该节点，并且该节点能够加入集群，假设节点的流副本与集群协调器提供的副本匹配。
ETL工具-nifi干货系列 第十四讲 nifi处理器PublishKafka实战教程
zhangjin1222的博客
04-22 1411
如果未指定，则如果存在流文件属性 'kafka.key'，则将其用作消息密钥。可以很清楚的看到PublishKafka处理器支持多个版本的kafka，选择时要根据自己的kafka 版本选择相匹配的PublishKafka处理器，由于本人使用的是kafka2.x，所以这里选择PublishKafka_2_0处理器。Message Header Encoding：对于作为消息标头添加的任何属性，通过 属性配置，此属性指示用于序列化标头的字符编码。
尚硅谷大数据技术NiFi教程-笔记02【NiFi（使用案例，同步文件、离线同步mysql数据到hdfs、实时监控kafka数据到hdfs）】
upward
05-15 2196
尚硅谷大数据技术NiFi教程-笔记02【NiFi（使用案例，同步文件、离线同步mysql数据到hdfs、实时监控kafka数据到hdfs）】
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lansonli

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值