NIFI大数据进阶_NIFI监控功能实际操作_Summary查看系统和处理器运行情况_viewDataProvenance查看_---大数据之Nifi工作笔记0026

已于 2023-04-06 22:54:08 修改
阅读量444 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 离&实时计算&大数据 文章标签： NIFI集群 NIFI大数据监控功能 NIFI数据回放功能 NIFI监控功能
于 2023-04-06 22:53:40 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/129998838
本文介绍了NIFI的监控功能，包括如何通过Summary查看处理器运行状态，通过System Diagnostics检查JVM和系统资源使用，以及View Data Provenance追踪数据流历史。详细阐述了查看处理器信息、显示状态历史、数据内容和流程图，并强调了Replay功能在调试中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先这里直接在空白的地方点击右键可以启动所有的处理器,右键start,然后

然后启动以后,我们再去右键刷新一下

然后我们再来,点击右边的菜单,然后选择summary

然后我们

就可以看到现在我们有哪些处理器在运行,有哪些处理,已经停止,然后有哪些 

 还在运行.

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据NiFi（十三）：NiFi监控
Lansonli（蓝深李）的博客
01-10 1136
这是一个滚动窗口,允许我们查看处理器消耗的FlowFiles数量,以及处理器发出的FlowFiles数量。它包含一些关于NiFi当前健康状况的重要统计数据：活动线程的数量可以指示NiFi当前的工作状态,排队统计数据表示当前在整个流程中排队的FlowFile数量以及这些FlowFiles的总大小。可以通过“公告指示”来查看事件处理日志信息，默认级别是“WARN”级别，可以在处理器配置中设置，当有对应级别的事件信息产生时，才会显示。：组内正在运行的处理器个数。：组内已经停止的处理器个数。：组内无效处理器数量。
大数据之-Nifi-监控nifi处理数据的状态信息_处理数据的状态栏_组件统计_公告BUG信息---大数据之Nifi工作笔记0010
添柴程序猿的专栏
02-19 751
然后就是公告了,公告可以显示,nifi中运行过程中产生的bug,会把错误信息,以及这个错误信息发生在哪个节点都显示出来.然后中间队列,可以看到下面,两个小横线,左侧是未处理的flowfile的个数和状态,右边是文件的大小和状态,后面会再说。可以看到这里pickup这个getfile处理器,可以看到in这里,说了文件的输入个数,以及大小。然后中间的那个队列,显示了队列中的要处理的flowfile的 个数和大小。首先可以看到状态栏,可以提供活动现场的数量,排队统计信息,等等。可以看到这里,可以选择看什么内容.
NiFi 监控简介
小伙无限帅
07-05 795
NiFi 监控 当数据在 NiFi 中流经您的数据流处理流程时, 了解您的系统执行情况以评估您是否需要更多资源以评估当前资源的运行状况非常重要。 NiFi 提供了一些监控系统的机制。 状态栏 在组件工具栏的 NiFi 屏幕顶部附近有一个条形, 称为状态栏。它包含一些关于 NiFi 当前健康状况的重要统计数据。 活动线程的数量可以指示 NiFi 当前的工作状态, 排队统计数据表示当前在整个流程中排队的 FlowFile数量以及这些FlowFiles的总大小 如果 NiFi 实例位于集群中, 我们还会在此处
利用NiFi进行数据处理与业务监控：实现实时监控
AI天才研究院
07-20 4065
作者：禅与计算机程序设计艺术 随着互联网企业对数据的收集、存储、分析、应用及管理等方面需求的增加，如何在不断变化的业务环境中实时地获取、分析并利用数据变得越来越成为企业关注和解决的难题。而Apache NiFi（Niagara Files Integration for Dataflow）是一个开源项目，它可以用来进行复杂的数据流动与集成
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
添柴程序猿的专栏
04-06 293
然后再来看进程组面板可以看到有名称,有活动的任务数,有组件面板,有右上角的错误显示bulletin indicator 然后再来看 有队列中的flowfile数和大小,有in,有out 这些都是5分钟内的。然后再来看,当前进程组中有9个停止的,有4个暂停的,有2个运行的 这个component counts这里。可以看到flow lineage 血统 流程 可以看到可以看到流程,数据执行的流程事件,可以拖动看处理流程。首先来看看状态栏可以看到有在执行的处理器数,还有停止的处理器数,这里只是说一下监控功能,
大数据之-Nifi-监控nifi数据流信息_监控数据来源_bub轻松复现---大数据之Nifi工作笔记0011
添柴程序猿的专栏
02-18 749
真的是,可以看到通过右键,处理器,打开view data province就可以看到, 上面是处理器处理数据的详细信息。然后这里还有一个replay功能,这个重播功能很重要 ,点击以后,就可以让数据从新从这个节点,再流过一次,然后 这里可以看到,可以查看flowfile的内容 content,可以点击view查看,也可以下载。可以看到左侧有一个滑块,可以拖动,来显示不同时间点,发生了什么事件,以及数据的流动过程.谱系图这个也很厉害,可以查看数据流的过程中,把数据流可视化,发生的事件,都可以看。
NiFi Prometheus监控指标介绍
小伙无限帅
08-02 1472
NiFi Prometheus监控指标介绍 Nifi_amount_bytes_read: Nifi_amount_bytes_written: Processor从磁盘读取和写入到磁盘的FlowFile内容的总大小。 nifi_amount_bytes_received : Remote Process Group接收的字节数 nifi_amount_bytes_sent : Remote Process Group发送的字节数 nifi_amount_flowfiles_recei
4、NiFi集群部署及验证、监控及节点管理
热门推荐
alanchanchn的专栏
05-11 7万+
如果投票时间(nifi.cluster.flow.election.max.wait.time)到了或者某一个flow.xml.gz已经达到票数（nifi.cluster.flow.election.max.candidates），则选出一个正确的flow.xml.gz。集群中的每个节点都对数据执行相同的任务，但每个节点都在不同的数据集上运行。如果集群协调器确定允许该节点加入(基于其配置的防火墙文件)，则将当前流提供给该节点，并且该节点能够加入集群，假设节点的流副本与集群协调器提供的副本匹配。
NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_实际操作---大数据之Nifi工作笔记0020
添柴程序猿的专栏
04-04 334
配置的时候这里我们设置一下run schedule,如果这里是0sec的话,那么说明数据会,连续生成,给服务器带来的压力就会比较大,所以这里。可以看到这里配置的时候,这个execution这里我们就可以设置为all nodes了,因为压力取决于生产数据的速度对吧。可以看到这里启动以后,已经在生成数据了对吧这里,queued,队列来了有3个文件了,一个是10B,3个是30Bytes。连接以后,然后这里设置一下,这里的for relationships,这里是,success 成功的时候再去把内容放到。
nifi集群_Apache NiFi入门 表达式语言中的自定义属性/使用模板/监控NiFi
weixin_39742958的博客
12-20 500
表达式语言中的自定义属性除了使用流文件属性外，还可以为表达式语言定义自定义属性。定义自定义属性为处理和配置数据流提供了额外的灵活性。例如，您可以为连接、服务器和服务属性引用自定义属性。创建自定义属性后，您就可以在“ nifi.properties”文件的nifi.variable.registry.properties的字段中标识它们的位置。更新“ nifi.properties”文件并...
NiFi Prometheus监控配置
小伙无限帅
07-26 1171
NiFi Prometheus监控 Prometheus简介 Prometheus是一套开源的系统监控和报警框架, 灵感源自Google的Borgmon监控系统。2012年, SoundCloud的Google前成员创造了Prometheus, 并作为社区开源项目进行开发。2015年, 该项目正式发布。2016年, Prometheus加入云原生计算基金会, 成为受欢迎仅次于Kubernetes的项目。 Prometheus具有以下特性: 多维的数据模型(基于时间序列的Key, Value键值对) 灵活的
nifi详细介绍--一款开箱即用、功能强大可靠，可用于处理和分发数据的大数据组件
最新发布
2401_84184638的博客
04-27 1606
1. 初始阶段：美国国家安全局的贡献NiFi 最初是由美国国家安全局（NSA）在2006年启动的一个项目，命名为“NiagaraFiles”。它的任务是应对NSA内部的庞大、异构的数据流，确保在不同系统和网络之间实现可靠、安全的数据传输。2. 开源化与进入 Apache 孵化器随着NSA对项目的发展和成熟，他们于2014年将NiagaraFiles捐赠给 Apache 软件基金会，使其成为了一个开源项目。项目进入 Apache 孵化器，并在孵化期间逐渐演变为一个强大的、可扩展的数据集成和流处理平台。
Apache Nifi
功夫熊猫
04-21 477
2.2.3 NiFi控制台介绍按照以上步骤完成NiFi的启动后，现在可以尝试通过NiFi的UI来创建并监控一个数据流。NiFi默认启动后的访问端口是8080，我们可以直接在浏览器输入http://localhost:8080/nifi来登陆NiFi的控制台，NiFi的默认启动端口可以通过配置文件对其进行修改，在后面的章节中我们会具体介绍修改的配置参数。登陆控制台后我们可以看到一个空白的画布，后面可...
Apache nifi 第一篇(概述)
weixin_30730053的博客
08-04 1002
1、什么是Apache NiFi？ 　　简单地说，NiFi是为了自动化系统之间的数据流。虽然数据流这种形式很容易理解，但我们在此使用它来表示系统之间的自动化和不同系统之间数据的流转。企业拥有多个系统，其中一些系统创建了数据，部分系统消耗了数据，那么问题就出现了。出现的问题和解决方案已经广泛讨论和阐述。nifi就是一个致力于数据对接的集成框架。 数据流面临的一些比较高级的挑战包...
nifi apache_Apache Nifi的工作原理-浏览数据流，不要淹没其中
cumian9828的博客
08-08 1769
nifi apacheby François Paupier 通过FrançoisPaupier Apache Nifi的工作原理-浏览数据流，不要淹没其中 (How Apache Nifi works — surf on your dataflow, don’t drown in it) 介绍 (Introduction) That’s a crazy flow of water. Jus...
Nifi 常用Processor
Tine Aine
01-29 1387
ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJson : 将JSON文件拆分为多个单独的FlowFiles, 用于由JsonPath表达式指定的数组元素。 EvaluateJsonPath : 根据FlowFile的内容评估一
大数据NiFi（十四）：数据来源和变量及表达式
Lansonli（蓝深李）的博客
01-29 1140
当数据通过系统处理并被转换,路由,拆分,聚合和分发到其他端点时,这些信息都存储在NiFi的Provenance Repository中。为了搜索和查看此信息,我们可以从全局菜单中选择数据源(Data Provenance)，也可以在对应的处理器上右键选择“View data provenance”进行查看。左下角的滑块允许我们查看这些事件发生的时间。通过左右滑动,我们可以看到哪些事件花费了较长的时间,这样我们可以分析瓶颈,得知哪些节点需要更多资源,例如配置处理器的并发任务数。
Apache NiFi指南
weixin_59295776的博客
07-31 5708
NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品，2014年NAS将其贡献给了Apache社区，2015年成为Apache顶级项目。是一个基于Web图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集等功能的数据处理与分发系统。说明：Apache NiFi 是为数据流设计支持高度可配置指示图的数据路由、转换和系统中介逻辑支持从多种数据源动态拉取数据NiFi是基于Java的，使用Maven支持包的构建管理NiFi基于Web方式工作，后台在服务器上进行调度。
Mac上连接nifi
weixin_34259159的博客
11-07 175
1. open terminal 2. ssh root@nifi.webus.cn 3. logs cd /var/lib/nifi/logs 4. view log tail -100f nifi-app.log 5. configuration cd conf ls vi bootstrap.conf press i for ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值