大数据之---Nifi-FlowFile属性_各种处理器提供了_属性提取_路由_自定义属性_强大的属性表达式语言还可以判断---大数据之Nifi工作笔记0008

最新推荐文章于 2024-03-28 08:29:37 发布
最新推荐文章于 2024-03-28 08:29:37 发布
阅读量430 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 离&实时计算&大数据 文章标签： nifi大数据 nifi自定义属性 新型流处理 nifi
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/129055809
本文介绍了Nifi在大数据处理中的FlowFile属性，包括系统生成和自定义属性，强调了属性在数据流处理中的重要性。Nifi提供了多种属性提取方法，并可以通过UpdateAttribute添加自定义属性。路由功能主要依靠RouteOnAttribute实现，利用强大的属性表达式语言进行条件判断和路由决策。例如，表达式${filename:toLower():contains('r')}用于检查文件名是否包含特定字符。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

然后我们再来看nifi的属性,很强大了,不用编写代码,就可以实现PB级的数据流处理

非常厉害了.可以看到,属性的作用可以看看

 

然后看一下FlowFile的共同属性,都很好理解,自己看吧,

有些是系统生成的不能修改

然后Nifi提供了几种提取属性的方法 

 

然后我们还可以添加自定义的属性,通过UpdateAttribute

这些都可以用UI界面设置,太方便

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIFI大数据进阶_FlowFile拓扑_对FlowFile内容和属性的修改删除添加_介绍和描述_以及实际操作---大数据之Nifi工作笔记0023
添柴程序猿的专栏
04-04 612
注意这里,如果我们想把这个队列queue中的,所有数据进行负载均衡的发到,所有的集群中的节点怎么弄?这个处理器内容比较多,可以用来用正则表达式匹配flowfile的内容数据,匹配成功以后,的数据会被路由到matched地方,如果没有匹配成功会被路由到unmatched地方。然后再看这个flowfile的属性这里可以看到每个flowfile都可以看对应的i以后,看到这个flowfile的详细内容和属性。处理器可以对flowfile的熟悉进行,修改,添加删除,或者修改flowfile的内容。
大数据NiFi（六）：NiFi Processors（处理器）
Lansonli（蓝深李）的博客
01-03 835
EvaluateJsonPath：用户提供JSONPath表达式，这个表达式将对Json内容操作，将表达式计算的结果值替换FlowFile内容或将结果值提取到用户自己命名的Attribute中。PutSQL：将FlowFile的内容作为SQL语句（INSERT,UPDATE或DELETE）执行,该处理器将执行sql语句,同时支持参数化的SQL语句。ExtractText：用户提供一个或多个正则表达式,然后根据FlowFile的文本内容对其进行评估,然后将结果值提取到用户自己命名的Attribute中。
ETL工具-nifi干货系列 第五讲 处理器GenerateFlowFile
最新发布
zhangjin1222的博客
03-28 1612
1、今天我们一起来学习处理器GenerateFlowFile。这个处理器创建带有随机数据或自定义内容的 FlowFiles。GenerateFlowFile 对于负载非常有用。从工具栏拖动处理器到画布，然后选择GenerateFlowFile即可。2、点击add按钮或者双击 GenerateFlowFile可将此处理器添加到画布。3、此时GenerateFlowFile 有个感叹号的图标，标记处理器存在无效的配置。上图的提示意思是当此处理器处理成功之后没有设置流向组件（其他处理器）同时页面设置自动终止。
NiFi FlowFile属性
小伙无限帅
07-05 1613
Flow File属性 每个 FlowFile 都拥有多个属性, 这些属性将在 FlowFile 的声明周期中发生变化。FlowFile 的概念非常强大, 并提供三个主要优点: 首先, 它允许用户在流中做出路由决策, 以便满足某些条件的 FlowFiles 可以与其他 FlowFiles 进行不同的处理。这可以由RouteOnAttribute和其他类似的处理器完成。 其次, 利用属性配置处理器: 处理器的配置依赖于数据本身。例如, PutFile 能够使用 Attributes 来知道每个 FlowFi
Apache NiFi FlowFile属性
weixin_59295776的博客
07-28 332
每个FlowFile都拥有多个属性,这些属性将在FlowFile的生命周期中发生变化。5、表达式语言/在Property值中使用attribute。6、表达式语言中的自定义属性。3、添加用户自定义的属性。
3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看
热门推荐
alanchanchn的专栏
05-10 7万+
NIFI除了提供能够将特定信息从FlowFile内容提取到属性中的处理器之外，NIFI还允许用户将自定义属性添加到每个FlowFile中的特定位置。UpdateAttribute就是专为此目的而设计。用户可以通过单击属性选项卡右上角的+按钮,在配置对话框中向处理器添加新属性。然后UI会提示用户输入属性的名称,然后输入值。对于此UpdateAttribute处理的每个FlowFile，都会添加用户自定义属性。Attribute的名称将与添加的属性的名称相同。属性的值也可以包含表达式语言。
NIFI源码学习-（五、3）NIFI集群的FlowFile负载均衡实现-FlowFile传递
东南_bit的博客
05-23 705
上节说到，NIFI会在注册中心，维护这样一个数据结构：
《数据同步-NIFI系列》Nifi详细教程入门-05Nifi属性及基础操作
https://blog.datasource.space
09-30 3004
Nifi属性及基础操作
大数据NiFi（十九）：实时Json日志数据导入到Hive
Lansonli（蓝深李）的博客
02-23 3137
如果所提供的JsonPath计算为指定的值，JSON的返回类型可以返回"scalar"。当一次性向tail的文件输入多条数据，我们不希望全部json行内容替换成第一行json内容，那么可以将“TailFile”处理器处理的数据直接传递给“ConvertRecord”处理器，将数据由json格式转换成自定义文本格式数据，再传递到“PutHDFS”处理器即可，所以解决以上问题，我们这里复用之前的“TailFile”和“PutHDFS”处理器即可，下面只需要配置“ConvertRecord”处理器即可。
NIFI大数据进阶_使用NIFI表达式语言_来获取自定义属性中的数据_NIFI表达式使用体验---大数据之Nifi工作笔记0024
添柴程序猿的专栏
04-04 669
然后我们再来看这里的view看一下,来得到detail这里去看flowfile的内容,替换后的flowfile的内容。可以看到对于处理器属性中,我们可以看到,很多处理器的熟悉都可以使用nifi表达式,在属性选项卡有个?然后我们使用nifi来看个例子,使用nifi表达式,来修改一下处理器的内容,可能比较模糊,来看一下实例。可以看到内容这里,我们已经通过nifi表达式获取到,自定义属性中的内容了对吧,对应的a,b,c,d。点击查看以后可以看到这里的队列中的内容,我们可以点开一个看看。
nifi-flowfile-utility:用于与Apache NiFi FlowFile捆绑包打交道的简单实用程序
05-31
nifi-flowfile-utility 用于处理 Apache NiFi FlowFile 包的简单实用程序 让我们通过配置文件制作 FlowFile 包/包，用于测试等。 Todo：命令行实用程序，可根据一些简单的标准（如 id 等）提取流文件的属性和有效负载（可能使用 JEXL 对属性映射进行上下文评估）
5、NiFi FileFlow示例和NIFI模板示例
05-29
5、NiFi FileFlow示例和NIFI模板示例 网址：https://blog.youkuaiyun.com/chenwewi520feng/article/details/130614514 本文旨在介绍FlowFile属性和内容、模板和简单介绍一个应用示例。其中模板将是后续文章的主要使用内容。 本分前提是nifi环境正常使用。 本分分为三个部分，即FlowFile生成器示例、模板以及FlowFile的内容与属性。
7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中
05-29
7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中 网址：https://blog.youkuaiyun.com/chenwewi520feng/article/details/130620392 本文是在6、NIFI综合应用场景-离线同步Mysql数据到HDFS中基础上完成的，仅仅是将上文中的json数据转成txt文件。本文仅列出了和该示例增加的部分，其他的则没有变化。 本文前置条件是mysql、hadoop、nifi、hive和hue环境运行正常。如果没有hive或hue环境，则可通过查看hadoop的文件数据即可。 本分分为四部分，即实现流程、处理器说明、操作和验证。 ———————————————— 版权声明：本文为优快云博主「一瓢一瓢的饮 alanchan」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.youkuaiyun.com/chenwewi520feng/article/details/130620392
nifi集群_Apache NiFi入门 表达式语言中的自定义属性/使用模板/监控NiFi
weixin_39742958的博客
12-20 500
表达式语言中的自定义属性除了使用流文件属性外，还可以为表达式语言定义自定义属性。定义自定义属性为处理和配置数据流提供了额外的灵活性。例如，您可以为连接、服务器和服务属性引用自定义属性。创建自定义属性后，您就可以在“ nifi.properties”文件的nifi.variable.registry.properties的字段中标识它们的位置。更新“ nifi.properties”文件并...
NIFI源码学习-（五、2）NIFI集群的FlowFile负载均衡实现-注册中心
东南_bit的博客
05-11 731
上节说到，NIFI在集群模式的时候，会对NIFI的任务流进行负载均衡，将处理器要处理的流文件分担到集群的各个节点来处理提升处理效率。本节来学习下NIFI负载均衡队列的实现。 一、源码分析 梳理下新建连接时候的流程，与启动处理器相似。 控制器层： 面板层： DAO层： FlowcController层 这里构建了一个队列工厂，没有负载均衡的时候，新建一个 StandardFlowFileQueue 实例。当处于集群模式的时候，会新建一个SocketLoadBalancedFl..
nifi自定义Processor允许用户添加属性
qq_37720936的博客
11-06 822
在Processor的类中增加如下方法即可： @Override protected PropertyDescriptor getSupportedDynamicPropertyDescriptor(final String propertyDescriptorName) { return new PropertyDescriptor.Builder() ...
NIFI 系统属性 System Properties之Cluster Properties
memoordit的专栏
12-18 475
集群通用属性设置NiFi集群时，应在所有节点上以相同的方式配置这些属性。 Property Description nifi.cluster.protocol.heartbeat.interval 节点应该向集群协调器发出心跳的时间间隔。 默认值是5秒。 nifi.cluster.protocol.is.secure 这表示集群通信是否需要安全严证。 默认值是false。 集群
大数据之-Nifi-了解Nifi处理器_和Nifi的其他组件---大数据之Nifi工作笔记0003
添柴程序猿的专栏
02-15 552
然后这里的concurrent Tasks这里是并发的线程数,然后execution这个是让这个任务在,所有节点上执行,还是说只在主节点上执行.,run schedule 是多久执行一次.然后再看,这里的定时器,就是定时执行的意思,这里timerdriven,时间驱动,还有一个cron driven。executestreamcommand:这个是用于执行sh的脚本,比如spark中的一些程序,需要写完以后,然后再来看这个properties,这个是处理器的各个属性,不同处理器这个属性不一样,所以。
NIFI 系统属性 System Properties之FlowFile存储库和内容库
memoordit的专栏
12-18 2953
FlowFile存储库FlowFile存储库会跟踪系统中每个FlowFile的属性和当前状态。 默认情况下，该存储库与其他所有存储库安装在同一根安装目录中; 但是，如果可能的话，建议在单独的驱动器上进行配置。 Property Description nifi.flowfile.repository.implementation FlowFile 存储库实现。 缺省值是org.apac
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值