NIFI大数据进阶_连接与关系_设置数据流负载均衡_设置背压_设置展现弯曲_介绍以及实际操作---大数据之Nifi工作笔记0027

于 2023-04-07 15:14:55 发布
阅读量521 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 离&实时计算&大数据 文章标签： nifi大数据处理 nifi连接与关系 nifi负载均衡 nifi背压
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/130005935
本文详细介绍了NIFI中连接与关系的配置，包括FlowFile过期时间、背压设置和负载均衡策略。通过实际操作展示了如何设置FlowFile在队列中的过期时间、背压阈值以及负载均衡策略，并演示了如何通过弯曲连接调整数据流方向。此外，还讨论了未匹配数据的处理和如何通过logAttribute处理器监控数据流向。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们来看连接与关系部分

 

然后右键一个关系可以看他的配置

 

注意这个,如果添加多个关系,这里flowfile就会自动clone

 

然后可以看到连接的配置中有,flowfile过期时间配置,有back pressure 背压配置,

有负载均衡配置

这里的这个FlowFile Expiration是配置FlowFile在队列中的过期配置

如果过期,那么就会自动从队列中移除,如果设置为0sec的话,那么就是永远也不过期

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049
添柴程序猿的专栏
05-22 897
然后这里的ExecuteSql处理器,我们选择数据库连接池,这里我们选择刚刚创建的,用这个连接池来执行,GenerateTableFetch生成的分页的sql语句.然后我们给PutHbaseJSON处理器配置一下,这里我们选择HBase_2_ClientService这个连接HBASE的服务。Hbase中,但是我这里的时候报错了,然后一直没解决,所以最后用了PutHbaseJson处理器,把数据存入到Hbase中去.启动以后生成的SQL我们来看一下,去执行一下,试试,可以执行。可以看到,有4条数据。
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
添柴程序猿的专栏
04-06 293
然后再来看进程组面板可以看到有名称,有活动的任务数,有组件面板,有右上角的错误显示bulletin indicator 然后再来看 有队列中的flowfile数和大小,有in,有out 这些都是5分钟内的。然后再来看,当前进程组中有9个停止的,有4个暂停的,有2个运行的 这个component counts这里。可以看到flow lineage 血统 流程 可以看到可以看到流程,数据执行的流程事件,可以拖动看处理流程。首先来看看状态栏可以看到有在执行的处理器数,还有停止的处理器数,这里只是说一下监控功能,
NIFI源码学习-（五、2）NIFI集群的FlowFile负载均衡实现-注册中心
东南_bit的博客
05-11 731
上节说到，NIFI在集群模式的时候，会对NIFI的任务流进行负载均衡，将处理器要处理的流文件分担到集群的各个节点来处理提升处理效率。本节来学习下NIFI负载均衡队列的实现。 一、源码分析 梳理下新建连接时候的流程，与启动处理器相似。 控制器层： 面板层： DAO层： FlowcController层 这里构建了一个队列工厂，没有负载均衡的时候，新建一个 StandardFlowFileQueue 实例。当处于集群模式的时候，会新建一个SocketLoadBalancedFl..
Apache nifi开发指南
slivelight的博客
09-12 2278
1. Apache Nifi 概念 1.1. NiFi简介 Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统，用于自动化管理系统间的数据流。它支持高度可配置的指示图的数据路由、转换和系统中介逻辑，支持从多种数据源动态拉取数据。NiFi原来是NSA的一个项目，目前已经代码开源，是Apache基金会的顶级项目之一。 NiFi是基于Java的，使用Maven支持包的构建管理。 NiFi基于Web方式工作，后台在服务器上进行调度。用户可以为数据处理定义为一个流程，然后进.
nifi-搭建
热门推荐
sinat_34233802的博客
04-01 1万+
NIFI 简介 1、NIFI 的概念 1.1 起源：NIFI是为了自动化的处理和管理系统之间的数据流而产生的，基本设计概念与基于流的编程[fbp]的主要思想密切相关 1.2 nifi核心概念 FlowFile：FlowFile表示通过系统移动的每个对象，包含数据流的基本属性 FlowFile Processor（处理器）：负责实际对数据流执行工作 Connect
Apache NiFi系统管理员指南 [ 四 ]
张伯毅的专栏
03-20 4532
系统属性 核心属性 State管理 H2设置 FlowFile存储库 交换管理(Swap Management) 内容存储库 (Content Repository) 文件系统内容存储库属性 (File System Content Repository Properties) 易失性内容存储库属性 (Volatile Content Repository Propertie...
NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
添柴程序猿的专栏
02-18 254
然后再来看什么是孤立的processor,比如,getsftp获取文件,肯定不能让他在每个节点上都执行,那样的话,获取的数据就是重复的了,只能在某个节点上执行,这个时候就可以设置,在主节点上getftp这个。为独立运行,那么这时候就只在主节点上执行了,保证数据只读取一份了就,但是经过主节点获取数据以后,获取的数据流出去以后,这些数据的后续处理可以在所有节点上执行.可以看到什么是零主集群, 零主集群就是,没有主节点的集群,没有一种专门负责记录元信息,看一下什么是主节点,什么是节点,什么是NIFI集群协调器。
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
添柴程序猿的专栏
04-03 389
然后我们再来看如何管理集群中的节点,可以看到,如果由于一些故障导致集群的某个节点断开了,那么,这个时候,整个集群处理就会停止,那么这个时候,如果这个节点恢复了以后,整个集群才会继续运行,那么如何进行,节点的,断开,连接恢复呢。我们可以点击一下重新连接,连接上,但是这个时候没有连接上,是因为我们这个18003,这个机器,已经是断开的状态了,断开的状态,当然不能再连接了,需要从集群中的,其他机器来进行连接。然后每个机器上配置一个myid,指定一个编号,一般就是1,2,3,4,...这样。
NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_处理器介绍_处理过程说明---大数据之Nifi工作笔记0019
添柴程序猿的专栏
04-03 355
这里的file size是1m的话,那么这里的 batch size是 5,那么以上就是没个批次会创建5个都是1m的文件,然后一般data fromat 我们用text文本格式,这里的search value就是正则表达式,比如是aaa,匹配正则表达式aaa成功的内容,就会被替换成 replacement value的值.evaluation mode这个是,替换策略,默认是一行一行的,还可以选择entire text,替换整个文档对吧.可以看到去设置这个处理器的大小,生成文件的大小。
NiFi用户使用指南笔记
Sherlock的博客
03-29 2214
NiFi 用户使用指南笔记 组件具有版本依赖关系 处理器设置 pelnalty duration：组件发生故障，是数据在此刻没法处理但之后还可以处理时，处理器可以选择搁置缓存该FlowFile，在指定时间过后再处理。 yield duration：当处理器发生故障，无论花多长时间，数据无法再得到进一步的处理时，启用yield duration，这段时间过后放弃任务。 Automaticall...
NiFi 读取Processor中的FlowFile
ouanui的专栏
02-23 2004
在Processor的onTrigger方法中，可以从ProcessSession参数中获取FlowFile中的内容，参考网上的一些写法，如 [code="java"]session.read(flowFile, new InputStreamCallback() { @Override public void process(final InputStream in) th...
Apache NiFi 如何从入门到不放弃？
DataFlow范式
04-18 4515
既然来了，就留下呗。笔者在之前的文章《物联网遇到流计算》中介绍过 Apache NiFi，虽比不上 StreamSets 华丽的外表，但是功能却很强大，在开源方面，NiFi 的企业级功能...
NiFi Prometheus监控指标介绍
小伙无限帅
08-02 1471
NiFi Prometheus监控指标介绍 Nifi_amount_bytes_read: Nifi_amount_bytes_written: Processor从磁盘读取和写入到磁盘的FlowFile内容的总大小。 nifi_amount_bytes_received : Remote Process Group接收的字节数 nifi_amount_bytes_sent : Remote Process Group发送的字节数 nifi_amount_flowfiles_recei
Nifi - 处理器内几个注解解析
Sha0w的博客
09-07 2096
When creating a Processor, the developer is able to provide hints to the framework about how to utilize the Processor most effectively. This is done by applying annotations to the Processor’s class. Th
NiFi FlowFile属性
小伙无限帅
07-05 1614
Flow File属性 每个 FlowFile 都拥有多个属性, 这些属性将在 FlowFile 的声明周期中发生变化。FlowFile 的概念非常强大, 并提供三个主要优点: 首先, 它允许用户在流中做出路由决策, 以便满足某些条件的 FlowFiles 可以与其他 FlowFiles 进行不同的处理。这可以由RouteOnAttribute和其他类似的处理器完成。 其次, 利用属性配置处理器: 处理器的配置依赖于数据本身。例如, PutFile 能够使用 Attributes 来知道每个 FlowFi
nifi使用技巧总结
weixin_33755847的博客
06-03 1695
2019独角兽企业重金招聘Python工程师标准>>> ...
Apache nifi 第一篇(概述)
weixin_30730053的博客
08-04 1000
1、什么是Apache NiFi？ 　　简单地说，NiFi是为了自动化系统之间的数据流。虽然数据流这种形式很容易理解，但我们在此使用它来表示系统之间的自动化和不同系统之间数据的流转。企业拥有多个系统，其中一些系统创建了数据，部分系统消耗了数据，那么问题就出现了。出现的问题和解决方案已经广泛讨论和阐述。nifi就是一个致力于数据对接的集成框架。 数据流面临的一些比较高级的挑战包...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值