NIFI大数据进阶_使用NIFI表达式语言_来获取自定义属性中的数据_NIFI表达式使用体验---大数据之Nifi工作笔记0024

于 2023-04-04 16:27:23 发布
阅读量669 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 离&实时计算&大数据 文章标签： NIFI大数据 NIFI表达式语言 Nifi获取自定义属性
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/129955562
本文介绍了如何在NIFI中利用表达式语言获取处理器属性中的数据。通过示例展示了在ReplaceText处理器中，使用${csv.2}获取自定义属性csv.2的内容，并成功替换文件内容，从而实现对FlowFile内容的修改。最终通过检查队列中的FlowFile，验证了NIFI表达式的有效性和数据获取的准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们来看一下,我们如何来使用nifi表达式

 

可以看到对于处理器属性中,我们可以看到,很多处理器的熟悉都可以使用nifi表达式,在属性选项卡有个?图标,打开以后

如果显示上面的一行,是表示支持nifi表达式,如果显示not supported的时候,就是不支持nifi表达式

 

然后我们再来看看nifi表达式的结构

可以看到这里使用${filename} 就可以获取flowfile的名称,然后用:toUpper()可以调用方法

 

还可以嵌套调用对吧,但是

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据之---Nifi-FlowFile属性_各种处理器提供了_属性提取_路由_自定义属性_强大的属性表达式语言还可以判断---大数据之Nifi工作笔记0008
添柴程序猿的专栏
02-21 431
也可以引用我们自己定义的属性可以看到${'my attribute name'}就引用了我们自己定义的熟悉。另外还有表达式语言可以在在配置中,直接引用FlowFile中的值,比如${uuid}可以直接引用uuid。然后我们再来看nifi的属性,很强大了,不用编写代码,就可以实现PB级的数据流处理。然后看一下FlowFile的共同属性,都很好理解,自己看吧,然后主要是属性路由,可以根据属性路由到不同的处理器。非常厉害了.可以看到,属性的作用可以看看。然后Nifi提供了几种提取属性的方法。
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
添柴程序猿的专栏
04-06 293
然后再来看进程组面板可以看到有名称,有活动的任务数,有组件面板,有右上角的错误显示bulletin indicator 然后再来看 有队列中的flowfile数和大小,有in,有out 这些都是5分钟内的。然后再来看,当前进程组中有9个停止的,有4个暂停的,有2个运行的 这个component counts这里。可以看到flow lineage 血统 流程 可以看到可以看到流程,数据执行的流程事件,可以拖动看处理流程。首先来看看状态栏可以看到有在执行的处理器数,还有停止的处理器数,这里只是说一下监控功能,
Apache NiFi Expression Language
tj85771370的专栏
11-24 2239
概览 NiFi主要的功能是数据处理和数据分发，在NiFi中数据均抽象为FlowFile。FlowFile有两个部分组成：内容(Content)和属性(attribute)。这里Content是实际上要处理和分发的数据，而FlowFile并不直接存储数据而是存储了一个指向实际存储地址的指针。属性(attribute)是数据本身相关的元数据，描述信息等，形式是一组键值对。例如：“GetFile Processor”从本地磁盘中读取文件，则文件内容将成为FlowFile的内容，则属性可能为文件名、文件目录、文件大
etl工具nifi使用系列（三）：关于nifi Expression Language 表达式
quguang65265的博客
12-03 7878
nifi表达式概述：Apache NiFi中的所有数据都由一个称为FlowFile的抽象表示。 FlowFile由两个主要部分组成：内容和属性。 FlowFile的内容部分代表要操作的数据。例如，如果使用GetFile处理器从本地文件系统中提取文件，则文件的内容将成为FlowFile的内容。FlowFile的属性部分表示关于数据本身或元数据的信息。属性是键值对类型的，表示关于数据的已知信息，以及适用
Nifi常用表达式文档
Tine Aine
09-20 5982
文章目录表达式函数字符串大小写转换toUpper描述参数返回值案例toLower描述参数返回值案例去除字符串前后的空格trim描述参数返回值案例字符串截取substring描述参数返回值注意案例案例解释substringBefore/substringBeforeLast描述参数返回值注意案例案例解释substringAfter/substringAfterLast描述参数返回值注意案例案例解释附加与追加append/prepend描述参数返回值注意案例案例解释字符串替换replace/replaceFir
【Apache NIFI 翻译】4-Apache NiFi Expression Language Guide 表达式语言
南方有乔木的博客
12-04 493
Apache NiFi Expression Language Guide 表达式语言 原文地址：http://nifi.apache.org/docs.html 参考博客：https://blog.youkuaiyun.com/tj85771370/article/details/110069708 概览 NiFi主要的功能是数据处理和数据分发，在NiFi中数据均抽象为FlowFile。FlowFile有两个部分组成：内容(Content)和属性(attribute)。这里Content是实际上要处理和分发的数据，而
NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
添柴程序猿的专栏
02-18 254
然后再来看什么是孤立的processor,比如,getsftp获取文件,肯定不能让他在每个节点上都执行,那样的话,获取的数据就是重复的了,只能在某个节点上执行,这个时候就可以设置,在主节点上getftp这个。为独立运行,那么这时候就只在主节点上执行了,保证数据只读取一份了就,但是经过主节点获取数据以后,获取的数据流出去以后,这些数据的后续处理可以在所有节点上执行.可以看到什么是零主集群, 零主集群就是,没有主节点的集群,没有一种专门负责记录元信息,看一下什么是主节点,什么是节点,什么是NIFI集群协调器。
NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
添柴程序猿的专栏
04-03 388
然后我们再来看如何管理集群中的节点,可以看到,如果由于一些故障导致集群的某个节点断开了,那么,这个时候,整个集群处理就会停止,那么这个时候,如果这个节点恢复了以后,整个集群才会继续运行,那么如何进行,节点的,断开,连接恢复呢。我们可以点击一下重新连接,连接上,但是这个时候没有连接上,是因为我们这个18003,这个机器,已经是断开的状态了,断开的状态,当然不能再连接了,需要从集群中的,其他机器来进行连接。然后每个机器上配置一个myid,指定一个编号,一般就是1,2,3,4,...这样。
nifi集群_Apache NiFi入门 表达式语言中的自定义属性/使用模板/监控NiFi
weixin_39742958的博客
12-20 500
表达式语言中的自定义属性除了使用流文件属性外，还可以为表达式语言定义自定义属性。定义自定义属性为处理和配置数据流提供了额外的灵活性。例如，您可以为连接、服务器和服务属性引用自定义属性。创建自定义属性后，您就可以在“ nifi.properties”文件的nifi.variable.registry.properties的字段中标识它们的位置。更新“ nifi.properties”文件并...
nifi自定义Processor允许用户添加属性
qq_37720936的博客
11-06 822
在Processor的类中增加如下方法即可： @Override protected PropertyDescriptor getSupportedDynamicPropertyDescriptor(final String propertyDescriptorName) { return new PropertyDescriptor.Builder() ...
NIFI-使用技巧
yqj234的专栏
11-22 2147
1. uuid() 產生一個隨機唯一ID 2.${now():toNumber():minus(86400000):format('yyyy-MM-dd')} 例如用于測試自動產生一個json的字符串，minus計算前一天的時間 {"A":"${now():toNumber():format('yyyy-MM-dd HH:mm:ss')}"} 3.兩個字符性字段合并，轉.........
Nifi 常用Processor
Tine Aine
01-29 1384
ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJson : 将JSON文件拆分为多个单独的FlowFiles, 用于由JsonPath表达式指定的数组元素。 EvaluateJsonPath : 根据FlowFile的内容评估一
eq相等 ne、neq不相等 EL表达式
超哥很努力的专栏
11-08 4151
eq相等 ne、neq不相等，  gt大于， lt小于  gt大于， lt小于  gte、ge大于等于    lte、le 小于等于    not非   mod求模    is [not] div by是否能被某数整除    is [not] even是否为偶数    is [not] even by $b即($a / $b) % 2 == 0    is [not] odd是否
NIFI自定义开发
为什么简介是必填项？
07-08 4249
NIFI自定义开发 NIFI自定义开发组件的结果目标，是能够在NIFI主页Processor里面拖动出来可以使用自己设置的属性，以及自己操作的逻辑处理。NIFI自定义组件的开发，其实就是继承AbstractProcessor 类，实现其方法即可。 下面直接放上一个例子进行说明，以及各对象的使用用途说明。 自定义开发组件步骤 1、maven POM文件中引入nifi对应包； 2、resources目录下新建文件夹 META-INF.services 3、META-INF.services下新建一个File o
NiFi学习笔记（一）——简介
热门推荐
Kinney小黑
07-27 1万+
偶然工作上接触到了nifi，有时间便整理一下这段时间的学习体会一、NiFi是什么？官网：https://nifi.apache.org/ nifi是一种工具，其实这样说也是不恰当的。按照我的理解，nifi更像是一种‘开发环境’，在这个环境里，你可以随心所欲搭配出符合心意的各种数据处理容器，当然使用起来并不是像编程开发那么难。二、NiFi用来做什么？nifi的主要用途是对数据进行处理，可汇总、分流、
Nifi表达式和自定义处理器（基于HDP）
weixin_33768481的博客
03-15 419
2019独角兽企业重金招聘Python工程师标准>>> ...
Nifi保留指定processor的方法
皮皮王的专栏
02-14 1754
项目背景：鉴于项目需求，需要删除指定的nifi自带的processor 项目构建解析：nifi所有的processor都在nar-bundles目录下，大致可分为三种类型，第一种是基础框架类型，这种一般不能够删除，删除会导致系统启动异常；第二种是后期扩展类型，这种一般类似于集成了spark，ambari之类的，单独一个目录存放；第三种是标准类型，这种应该算是最初nifi的processor，都是
认识NiFi Attributes
邢为栋
05-04 785
FlowFile的属性在整个数据流中非常重要，因为在对数据流进行处理时，经常会用到FlowFile的属性，这为数据流处理提供了很大的便利性。 (以下内容译自NiFi官方文档 working-with-attributes) 每个FlowFile被创建时，都会带有几个属性(Attributes)，这些属性将在FlowFile的生命周期内发生变化。FlowFile的概念非常强大，并提供三个主要优点。 ...
etl工具nifi使用系列（六）：使用ExecuteScript执行脚本（1）
quguang65265的博客
12-10 7362
介绍本文介绍了如何使用NiFi处理器ExecuteScript完成特定任务的各种方法，并给出了Groovy，Jython，Javascript（Nashorn）和JRuby中给出的示例。 第1部分 - 介绍NiFi API和FlowFiles 从传入队列获取流文件 创建新的流文件 使用流文件属性 传输流文件 记录 第2部分 - FlowFile I / O和错误处理从流文件中读取 写入流文件 从流
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值