NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_处理器介绍_处理过程说明---大数据之Nifi工作笔记0019

已于 2023-04-03 22:47:37 修改
阅读量336 收藏
点赞数
分类专栏： 离&实时计算&大数据 文章标签： NIFI处理器 flowfile生成处理器 replacetext处理器 nifi生成flowfile
于 2023-04-03 22:46:34 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/129941341
版权
本文介绍了NIFI中的GenerateFlowFile处理器如何生成FlowFile，包括配置batch size和data format等，并探讨了ReplaceText处理器的用法，如search value和replacement value的设置，以及maximum buffer size和replacement strategy的影响。通过示例流程，展示了如何使用这两个处理器进行数据处理，强调了使用后记得停止以避免资源占用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

这里的file size是1m的话,那么这里的 batch size是 5,那么以上就是没个批次会创建5个都是1m的文件,然后一般data fromat 我们用text文本格式,

 

 这里的search value就是正则表达式,比如是aaa,匹配正则表达式aaa成功的内容,就会被替换成 replacement value的值.

这里的maximum buffer size是内容的大小,如果某条消息的大小超过了找个值,那么就会报错

了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增删改数据分发及删除数据实时同步_通过分页解决变更记录过大问题_02----大数据之Nifi工作笔记0054
添柴程序猿的专栏
06-12 219
我这里只是看了一个delete那个分支的,可以看到数据已经过来了,过来的数据是这样的,然后我们就可以利用EvaluateJsonPath处理器,从这里面去提取内容了,我们要拼接。再继续把获取到的带有kind属性的,这个flowfile,传递给RouteOnAttribute,根据不同的,比如delete,update,insert走不同的分支进行处理。可以看到这个是我们delete分支的,我们添加的属性,这里我们主要添加了,tablename表名,keyname主键名称,keyvalue主键值。
NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_实际操作---大数据之Nifi工作笔记0020
添柴程序猿的专栏
04-04 317
配置的时候这里我们设置一下run schedule,如果这里是0sec的话,那么说明数据会,连续生成,给服务器带来的压力就会比较大,所以这里。可以看到这里配置的时候,这个execution这里我们就可以设置为all nodes了,因为压力取决于生产数据的速度对吧。可以看到这里启动以后,已经在生成数据了对吧这里,queued,队列来了有3个文件了,一个是10B,3个是30Bytes。连接以后,然后这里设置一下,这里的for relationships,这里是,success 成功的时候再去把内容放到。
ETL工具-nifi干货系列 第五讲 处理器GenerateFlowFile
最新发布
zhangjin1222的博客
03-28 1593
1、今天我们一起来学习处理器GenerateFlowFile。这个处理器创建带有随机数据或自定义内容的 FlowFiles。GenerateFlowFile 对于负载非常有用。从工具栏拖动处理器到画布，然后选择GenerateFlowFile即可。2、点击add按钮或者双击 GenerateFlowFile可将此处理器添加到画布。3、此时GenerateFlowFile 有个感叹号的图标，标记处理器存在无效的配置。上图的提示意思是当此处理器处理成功之后没有设置流向组件（其他处理器）同时页面设置自动终止。
NIFI-创建一个FlowFile并利用PutFile保存到到指定目录
dijiao3728的博客
11-25 663
1>在工作台上添加一个创建FlowFile的处理器 　　1.1>拖动Processor到工作台上 　　 　　1.2>在检索框中输入想要查询的关键字【generatef...】,并点击【Add】按钮 　　 　　1.3>查看添加效果 　　 2>在工作台上添加一个存放文件【PutFile】的处理器 　　 3>将鼠标移动到GenerateFl...
NiFi Processors之ReplaceText
邢为栋
05-05 2840
NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。 本文介绍NiFi处理器之一 ：ReplaceText。 描述 通过评估FlowFile的正则表达式（regex）并将与正则表达式匹...
Apache NIFI ReplaceText
酷酷的诚的博客
03-26 3358
描述： 使用其他值替换匹配正则表达式的流文件部分内容，从而更新流文件的内容。 属性配置： 在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的，并且指出属性默认值（如果有默认值），以及属性是否支持表达式语言。 属性名称 默认值 可选值 描述 Searc...
Apache NIFI GenerateFlowFile
酷酷的诚的博客
02-16 2162
描述： 该处理器使用随机数据或自定义内容创建流文件。GenerateFlowFile用于负载测试、配置和仿真。 属性配置： 在下面的列表中，必需属性的名称以粗体显示。任何其他属性(不是粗体)都被认为是可选的，并且指出属性默认值（如果有默认值），以及属性是否支持表达式语言。 属性名称 默认值 可选值 ...
NiFi Processors之GenerateFlowFile
邢为栋
05-04 985
NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。 本文介绍NiFi处理器之一 ：GenerateFlowFile。 描述 创建流文件，流文件的内容是随机数据或者自定义内容。该处理器...
Nifi 转义字符-ReplaceText
m0_37753516的博客
11-18 1102
需求：需要把下面的数据通过api的方式插入到数据库中 2.\转义字符需要用"${PATH:replace(’"’,’\\"’)}" 的方式来替换（java需要四个\来添加转义符‘\’）
ReplaceTextWithMapping
酷酷的诚的博客
02-14 797
使用比较困难，我也没有就实际需求操刀过，就简单介绍一下 在设置中看到了两个：Matching Group,Mapping File Mapping File 替换的值在一个文件中配置，但这个文件的结构并没有没有很好的文档， Matching Group的文档解释是：The number of the matching group of the provided regex to repl...
Apache Nifi 概念介绍、源码解析、开发指南（中文）
03-06
Apache Nifi 从初步认知核心概念介绍、了解技术架构、到源码解析、开发指南翻译 （中文），希望对新接触Nifi的朋友有所帮助。
NiFi 表达式使用指南（英）
weixin_34279184的博客
03-15 1121
2019独角兽企业重金招聘Python工程师标准>>> ...
《数据同步-NIFI系列》NiFi同步中文表、中文字段名
https://blog.datasource.space
09-27 1641
整体流程使用七个组件,第一步通过ExecutSQL组件truncate目标表，第二步使用ExecuteSQLRecord组件查询源表数据( AvroRecordSetWriter写数据),第三步使用ConvertAvroToJSON组件将Avro数据转成JSON类型数据，第四步使用SplitJson将整个JSON切分成一条一条的JSON数据，第五步使用EvaluateJsonPath解析中文表的字段并将其映射为英文名，第六步使用ReplaceText获取上一步的参数并写成SQL语句。配置数据库连接密码。
Nifi 常用Processor
Tine Aine
01-29 1323
ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJson : 将JSON文件拆分为多个单独的FlowFiles, 用于由JsonPath表达式指定的数组元素。 EvaluateJsonPath : 根据FlowFile的内容评估一
NiFi 学习 — 统计数
草原孤狼的专栏
10-23 1178
好记忆不如烂笔头，能记下点东西，就记下点，有时间拿出来看看，也会发觉不一样的感受. 利用nifi统计单词出现的次数 从工具栏中拖入一个Processor，在弹出面板中搜索GenerateFlowFile，然后确认，设置GenerateFlowFile 的属性如下： 注意看属性的设置, 尤其要输入custom text的内容: 本例中输入的text内容是： With each releas...
Apache NiFi 如何从入门到不放弃？
DataFlow范式
04-18 4317
既然来了，就留下呗。笔者在之前的文章《物联网遇到流计算》中介绍过 Apache NiFi，虽比不上 StreamSets 华丽的外表，但是功能却很强大，在开源方面，NiFi 的企业级功能...
《数据同步-NIFI系列》NIFI同步API接口数据
https://blog.datasource.space
08-22 3156
​ 通过NIFI同步工具，从API接口中获取指定数据，并同步到MySQL数据库。
Nifi入门实战：CSV写入Postgres
lisacumt的专栏
03-08 2159
Nifi入门实战 一、docker 安装方式 docker pull apache/nifi:1.14.0 # 注意： 日志文件的数据卷可以创建但是nifi在docker运行时候使用的是nifi:nifi账户，其数据卷创建后默认的Owner是root账户，会造成nifi没有写日志文件的问题。 # 数据卷 本机路径:容器路径 # -v $PWD/logs:/opt/nifi/nifi-current/logs \ # 可以使用手动到容器内部 `docker exec -it nifi /bin
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增加修改实时同步_使用JsonPath及自定义Python脚本_03---大数据之Nifi工作笔记0055
添柴程序猿的专栏
06-12 394
往postgresql中插入数据,这样的sql是可以的,这里对应的字段id,name..这些加不加"",都可以测试过了,然后表名加不加"",都可以也测试过了,可以看到这里参数需要是''单引号才行.上面是格式化后的内容,然后我们去看一下,EvaluateJsonPath处理器的配置,我们需要提取出,columnnames,columnvalues,oldkeys中的id,还有表名。更新这块花了很长时间,最后找了一个比较通用的做法,然后以后其他的情况就都可以解决了,但是还考虑到了其他问题,不知道会不会出问题.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值