NIFI关于Parameter Contexts的使用

深入理解Apache NIFI Run Duration Run Duration 一些处理器支持配置运行持续时间(Run Duration)。此设置告诉处理器在单个任务中继续使用同一task尽可能多地来处理来自传入队列的的FlowFiles(或成批的流文件)。 对于处理单个任务本身非常快并且FlowFile数量也很大的处理器来说,这是一个理想的选择。 在上面的示例中,将完全相同的FlowFiles传递到这两个处理器,这些处理器被配置为执行相同的Attribute更新。两者在过去5分钟内处理了相同数量的FlowFiles;但是,配置为运行持续时间的处理器消耗的 阅读详情

说明

nifi版本:1.23.2(docker镜像)

作用

Parameter Contexts(参数上下文):参数上下文由 NiFi 实例全局定义/访问。访问策略可以应用于参数上下文,以确定哪些用户可以创建它们。创建后,还可以应用读取和写入特定参数上下文的策略

添加Parameter Contexts

点击工具栏右上角在弹出的列表中选择Parameter Contexts

在弹出的页面中点击右上角的+添加参数

配置SETTINGS

在新弹出的页面中切换到SETTINGS,给添加的上下文起个名字,方便后面的使用。

配置PARAMETERS

切换到PARAMETERS页面,点击右上角的添加需要的参数,下面以配置MySQL相关参数为例

添加参数 

在弹出的新页面添加对应的参数名称、值、描述等

Name:用于表示参数的名称。只允许使用字母数字字符(a-z、A-Z、0-9)、连字符 ( - )、下划线 ( _)、句点 ( . ) 和空格。

Value: 引用参数时将使用的值。

Set empty string:选中以将参数的值显式设置为空字符串。默认情况下未选中。(注: 如果选中但设置了值,则忽略该复选框。

Sensitive Value:当前的参数是否是敏感值,如果选择Yes“”参数的值将不会显示在 UI 中,例如数据库连接的密码,因为是敏感数据需要隐藏的这时候可以勾选“Yes”。

 添加一个敏感的参数,勾选Sensitive Value的Yes选项,最后点击APPLY

可以看到目前添加了两个参数,第二个参数因为是敏感数据所以是没有显示值的。

其他参数根据自己的情况进行添加,添加完成后点击APPLY,我这里总共添加了5个参数

可以看到Parameter Contexts中已经多了一条记录,如果需要修改参数点击对应记录右侧的小铅笔就可以修改了。添加完成后点击右上角的X关闭页面。修改参数的时候需要注意一点,一旦修改了参数,那么引用该参数的处理器、控制器服务的都会被停止/重新启动,这个在修改参数的时候会有对应的提示。

测试配置是否生效

添加一个新的数据库连接池配置,在画布的空白位置鼠标右键,然后选择Configure

在弹出的页面中切换到GENERAL,在Process Group Parameter Context选择刚才添加的参数上下文,最后一定别忘记了点击最下面的APPLY

 

切换到CONTROLLER SERVICES,点击右上角的+添加新的连接池

 在弹出的Add Controller Service页面中根据筛选需要的连接池类型,这里以DBCPConnectionPool为例。

点击刚才添加的连接池右侧的小齿轮

在新弹出的页面选择PROPERTIES进行配置,可以看到最后一列每一项都显示一个箭头,点击向上的箭头可以配置上下文,在这里配置的参数上下文会被同步更新到刚才配置的Parameter Contexts中,这里我们就不再单独配置了,直接引用之前配置好的参数即可

下面是引用的之前配置好的参数,参数的引用需要使用#{params_name}的形式

校验参数是否正确

点击右上角的对号进行参数的校验,校验通过的选项会显示绿色对钩,如果有报警,说明配置有问题,检查下配置的参数名称是否正确,或者数据库密码对不对等。

小细节

在画布的空白位置鼠标右键这个时候可以看到画布中多了一个选项Parameters

点击Parameters之后可以看到之前配置的几个参数,这个选项只有在Configure的GENERAL选项中配置了对应的Process Group Parameter Context之后才会显示此选项

结束语

以上便是NIFI中关于Parameter Contexts(参数上下文)的使用,如果有问题欢迎大家评论。下一篇给大家介绍NIFI关于Variables(变量)的使用

《数据同步-NIFI系列》Nifi详细教程入门-02部署与入门 第四个是process group,相当于系统中的文件夹,可以在组中嵌套组,合理的规划,可以使得整体页面简洁、可读性高。在操作区选择上传模板,通过搜索本地模板的xml文件,UPLOAD即可,后续就跟正常的使用模板一样的操作。第七个是template,通过创建模板,可以在这里使用历史创建的模板,便捷的处理相同场景的问题。: 模板创建好后,通过拖动导航栏的template,可以选择历史创建的模板,ADD即可。稍后会做专门的介绍。2.下载需要的模板到本地,下载为xml文件,也可以将xml文件提供给他人使用。 阅读详情

相关推荐

NiFi技术干货

第1章 NiFi概述 1.1 NiFi是什么 简单的说,NiFi就是为了解决不同系统间数据自动流通问题而建立的。虽然dataflow这个术语在各种场景都有被使用,但我们在这里使用它来表示不同系统间的自动化的可管理的信息流。自企业拥有多个系统开始,一些系统会有数据生成,一些系统要消费数据,而不同系统之间数据的流通问题就出现了。这些问题出现的相应的解决方案已经被广泛的研究和讨论,其中企业集成就是一个全面且易于使用的方案。 NiFi旨在帮助解决这些现代数据流挑战,其中主要的是复杂的范围,需要适应的需求变化的

久醉绕心弦的博客 1743

NIFI源码学习-(三)ProcessSession

在调用处理器的 onTrigger 方法的时候,传入了两个参数,ProcessContext context, final ProcessSession session 进入到ProcessContext 的代码: 注释写的比较清楚,为处理器和NIFI框架提供了一个桥梁,实际使用中,主要用来在处理器中获取页面上为处理器设置的各个属性。我们主要来关注 session 变量。从第一张图中可以看出,每次处理器执行,都会重新生成一个session,多线程时候每个线程都会生成一个。 ProcessSes

东南_bit的博客 919

《数据同步-NIFI系列》Nifi详细教程入门-05Nifi属性及基础操作

Nifi属性及基础操作

https://blog.datasource.space 3301

NIFI关于Variables的使用

NIFI中的变量(variables)和参数(parameters)在引用的时候是有区别的。参数的引用是使用#{参数名}的形式。变量是使用${变量名}的形式来引用。nifi版本:1.23.2(docker镜像)Variables:出于兼容性目的,仍支持通过变量和文件的自定义属性,和参数的功能不同,变量不支持敏感属性,变量值不能引用其他变量或使用表达式语言。变量和属性将在未来的版本中删除。因此强力推荐使用参数(

浩瀚蓝天dep的博客 1154

深入解析Apache NIFI的调度策略

简介:本文主要讲解Apache NIFI的调度策略,对象主要是针对Processor组件。本文假定读者已经对Apache NIFI有了一定的了解和使用经验,同时作者也尽可能的去讲解的更透彻,使得本文尽可能让对NIFI接触不深的读者也能够看懂。 NIFI的调度策略 打开任意一个Processsor,在其配置页面SCHEDULING页签我们可以配置它的调度策略,如下图所示: 在流程中有一类的Processor的实例是不允许传入FlowFIle的,我们姑且可以称之为流程源结点(第一个节点)。这类Process

酷酷的诚的博客 6014

华为P812E光猫补全shell配置PON口模式

终于看到华为企业级的带2.5电口P812E横空出世了,相信很多发烧友也已经将此收入昂中。相信体验的同时,遇到的第一件事情就是配置PON口模式的问题,本文将带发烧基友解锁模式。

GUAIYU的博客 5725

实战篇:解决swagger和自定义参数解析器的功能冲突

前言 @RequestBody使用的参数解析器RequestResponseBodyMethodProcessor优先级高于我们自定义的参数解析器,所以为了正常使用,需要将@RequestBody注解去掉。这就会导致swagger无法识别正确的参数类型,将请求体识别为Query Params,然后将body展开。 可以看到,所有参数都被识别为ModelAttribute类型(query标志),而我们所期待的正确格式应当是如下样子 因为该方式可以大大提高代码的可读性和可复用性,所以我们要..

wdj_yyds的博客 7129

简单的服务器取证

记一次入门服务器取证——药品直销网,涵盖旧版本宝塔、静态IP的配置更改、代码的理解

m0_74559567的博客 3756

Swagger实体类参数分组

Swagger2接口参数实体类字段自定义 使用swagger文档的时候发现实体类参数每次都是全部显示出来,导致和前端对接很麻烦,就产生了想要自定义的实体类参数的想法,于是在百度了很久,找到了flymoringbird大神的文章Swagger2 自定义注解 :解决一个简单的model类 适用于controller的多个方法,参考了一下发现只能实现body传参,query传参还是没有办法实现,于是又开始了百度,找到了x-easy大神swagger2 同一个实体用在多个不同的controller接口展示不同的字段

黑池的博客 3377

基于人脸识别的智能门禁系统设计

在当前的技术背景下,本文精心打造了一款前沿的视频识别门禁控制系统。在进行调试的时候使用的软件是Keil,编写完代码,生成文件后用下载器下载到单片机上,就能够进行程序的调试了,本次设计实现了预先设定的目标,达到了预期的效果。本次设计的人脸识别的门禁控制系统其硬件部分是以STM32F103C8T6为核心的单片机,采用0V2640摄像头对人员的人脸识别,采用矩阵按键对系统的操作以及密码的输入,使用蜂鸣器来作为报警模块,开门装置是电子锁控制,显示设备采用OLED液晶显示,无线模块在一番思索后选择了蓝牙模块传输。

2401_86147581的博客 1295

【低轨】Starlink星链-Ku波段OFDM信号同步机制与PNT应用潜力

本文深入解析了Starlink星链Ku波段OFDM信号的同步机制及其在定位、导航与授时(PNT)领域的应用潜力。研究发现,其信号帧内嵌的同步序列具有相位恒定特性,支持超长相干积分,可在极低信噪比下实现高精度伪距测量,为利用低轨卫星通信信号实现高精度PNT服务提供了新的技术路径。

weixin_29250403的博客 729

NiFi 实现功能

1 删除JSON字段 通过ReplaceText实现删除json一个属性功能 如: 输入:{"id":1,"name":"wukong","age":25} 输出:{"id":1,"age":25} UpdateAttribute 添加一个属性param,value为要删除的字段name。 EvakyateJsonPath 添加一个属性delete,value为$.name(为字段name对应的值) ReplaceText 正则表达式匹配:("${params}": )("${delete}"|${del

weixin_43457864的博客 1136

【HDR】曝光融合(Exposure Fusion)

在曝光融合(Exposure Fusion)算法问世之前,多曝光序列合成用于显示的HDR需要两个步骤,第一步是将多张不同曝光的低动态范围图像合成为HDR(例如Debevec提出的加权融合方法),通常HDR为12bit或者16bit;第二步是通过tonemapping对高动态范围HDR进行压缩以支持低动态范围显示设备(例如Durand提出的基于双边滤波的tonemapping算法),一般会压缩至8bit。

专注人工智能,主攻CV 1万+

NiFi Processors之RouteOnAttribute

NiFi是一个数据处理和分发系统,其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作,并提交该工作或回滚。 本文介绍NiFi处理器之一 :**RouteOnAttribute **。 描述 使用Attribute Expression L...

邢为栋 1973

基于SpringBoot+SpringCloud+Vue前后端分离项目实战 --开篇

如何高效学习Java? 毕业设计项目应该怎么做?入门实战项目应该怎么做? 做Java开发都应该学习哪些框架技术? 我想来跟你聊聊为什么要学习此专栏?我们经常说,看一个事儿千万不要直接陷入细节里,你应该先鸟瞰其全貌,这样能够帮助你从高维度理解问题。同样,当你迷茫想努力没有方向时,最事半功倍的方法是:找人带你! 因为过来人,更懂得如何学、如何做、如何少走弯路! 那今天就给大家带来一门专栏课程,由 天罡gg 和 经海路大白狗 两位实力大牛合力打造的一款专栏,可以让你从0到1快速拥有企业级规范的项目实战经验!

天罡gg的专栏 2万+

数学之美:欣赏超越数e

文章目录一、e为何物?二、利息与e的关系1、利息问题2、计算利息3、欣赏螺旋线(1)螺旋线概述(2)绘制螺旋线三、e和π 一、e为何物? e是一个无限不循环小数,其值约等于2.718281828…,它是一个超越数,有时也称为欧拉数(Euler’s Number)。 以e为底的对数称为自然对数(Natural Logarithm),数学中使用自然这个词的还有自然数(Natural Number)。 这里的“自然”并不是现代人所习惯的“大自然”,而是有点儿“天然存在,非人为”的意思。 二、利息与e的关系

howard2005的专栏 1713

Nifi之ExecuteScript使用方法 (三)

本文是一系列文章中的第三篇,描述了如何使用ExecuteScript完成某些任务的各种方式. 文章 本文介绍了如何使用NiFi处理器ExecuteScript完成某些任务的各种方法,以及Groovy,Jython,Javascript(Nashorn)和JRuby中给出的示例。这是本系列的第3部分,我将讨论高级功能,如动态属性,模块,状态管理以及访问/使用Controller Services...

激进的蜗牛 4823

2023年电工杯 | 2023年电工杯数学建模竞赛思路(A题、B题)

2023年电工杯 | 2023年电工杯数学建模竞赛思路(A题、B题)

前程算法屋的博客 5593

【Groovy】Groovy 脚本调用 ( 命令行执行 Groovy 脚本并传入参数 | 获取 Groovy 脚本执行参数 )

前言、 一、 命令行执行 Groovy 脚本并传入参数、 二、获取 Groovy 脚本执行参数、

让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 ) 6171

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

Nifi 处理器开发 - 如何创建Processor参数和返回

1.声明参数 // 参数1 public static final PropertyDescriptor USE_FILE = new PropertyDescriptor.Buildler() // 参数名 .name("Use File") // 显示名 .displayName("Use File") // 必须的参数(如果不填则处理器报错) .required(true) // 允许的值(其值只能是括号内的值) .allowableVa

Tine Aine 678

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Nifi 处理器开发 - 如何读取Processor参数

如何读取Processor参数 1.首先定义参数 public static final PropertyDescriptor TEXT = new PropertyDescriptor .Builder().name("Text") .displayName("text") .description("这部分是描述") .required(true) .addValidator(

Tine Aine 643

Apache NiFi系统管理员指南 [ 三 ]

基本群集设置 故障排除 State管理 配置状态提供程序 嵌入式ZooKeeper服务器 ZooKeeper访问控制 ZooKeeper安全 ZooKeeper Migrator Bootstrap属性 通知服务 电子邮件通知服务 HTTP通知服务 代理配置 Kerberos服务 笔记 基本群集设置 本节介绍由三个NiFi实例组成的简单三节点非安全...

张伯毅的专栏 4194

NiFi 在马蜂窝信息流推荐引擎中的使用及扩展

点击上方“马蜂窝技术”,关注订阅更多优质内容一、为什么不选 Flink在信息流推荐业务场景中,数据是模型迭代的原材料,是指标增长的重要基石,而「数据流」则贯穿整个推荐业务场景。一些系统创...

马蜂窝技术 1443

Apache NiFi开发人员指南

介绍 NiFi组件 ProcessorAPI 支持API AbstractProcessor API 组件生命周期 组件通知 受限 州经理 报告处理器活动 记录组件 记录属性 记录关系 记录能力和关键词 记录FlowFile属性交互 记录相关组件 高级文档 种源事件 通用处理器模式 数据入口 数据出口 基于内容的路由(一对一) 基于内容的路由(一...

张伯毅的专栏 7087

nifi ExecuteGroovyScript 操作手法 直接用sql 脚本 执行任务 操作数据

目录 一个示例 实例代码模板 截图 script scriptboty 结果 介绍 控件基础 基础手法 设置新属性 删除属性 写内容 得到内容 将流文件传输到成功关系 使用dbcp 处理处理器启动和停止 根据主表的数据,去查询子表,并且将主子表的数据进行 组装 脚本sql实现1.删除2查询3.添加 1.界面 2.配置俩个数据库 3.具体代码体 一...

银河系天城知识宝库_技术专家蒋浩宇 3036
上一篇: NIFI实现数据库数据增量同步
下一篇: NIFI关于Variables的使用
浩瀚蓝天dep
博客等级 码龄9年 178粉丝 77原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值