大数据之---Nifi-处理器类别_详细了解各种处理器的含义用途---大数据之Nifi工作笔记0007

最新推荐文章于 2023-07-31 11:35:35 发布
最新推荐文章于 2023-07-31 11:35:35 发布
阅读量632 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 离&实时计算&大数据 文章标签： 大数据 NiFI 新型流处理 nifi大数据处理
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/129045637
本文详细介绍了NiFi的各种处理器，包括数据转换、控制速率、负载均衡、路由策略。重点讲解了数据库访问处理器，如PutSQL用于更新关系型数据库，PutHiveQL处理Hive数据。还涉及属性提取、执行命令、数据获取（如ListHDFS和FetchHDFS配合读取HDFS数据）、数据出口、分裂与聚合（SplitContent和SegmentContent）以及HTTP请求处理。这些处理器在大数据处理中起着关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 处理器有很多类这里主要分了,数据转换的可以看到上面的这些是数据转换常用的

然后:

这里这个controlrate,用来控制流的速率,来保护作用,防止崩掉

distributeLoad用来负载均衡,减轻压力

这里的路由是,根据是否满足对应的条件,来执行是否把数据路由到某个地方.

然后来看数据库访问处理器包含的一些处理器

这里注意putsql主要是,将flowfile中定义的sql,来更新关系型数据库.

而这个puthiveql,主要是用来更新hive数据库.

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据之-Nifi-了解Nifi处理器_和Nifi的其他组件---大数据之Nifi工作笔记0003
添柴程序猿的专栏
02-15 553
然后这里的concurrent Tasks这里是并发的线程数,然后execution这个是让这个任务在,所有节点上执行,还是说只在主节点上执行.,run schedule 是多久执行一次.然后再看,这里的定时器,就是定时执行的意思,这里timerdriven,时间驱动,还有一个cron driven。executestreamcommand:这个是用于执行sh的脚本,比如spark中的一些程序,需要写完以后,然后再来看这个properties,这个是处理器的各个属性,不同处理器这个属性不一样,所以。
大数据之-Nifi-认识Nifi_Nifi的核心概念_Nifi核心架构_Nifi的性能_Nifi的关键特性---大数据之Nifi工作笔记0001
添柴程序猿的专栏
02-14 694
这里说一下这个FlowFile Repository这个存储了一些FlowFile的状态信息,这个ContentRepository存储了,FlowFile中的具体的文件内容.可以看到NIFI的核心架构,它是基于java写的,然后Flow Controller是流控制器可以看到上面已经解释了。可以看到Nifi的用处,用来处理数据的分发,是BS架构的,具有上面的一些特点.可以看到nifi解决的是dataflow的问题,解决的是数据流的问题。上面的NIFI的架构信息,可以看到每一块是干什么用的都有解释了.
NiFi 处理器(Processor)简介
小伙无限帅
07-02 1341
NiFi 处理器 一. 查看处理器 选择处理器组件, 拖入组件工作区, NiFi 官方提供了283个处理器整合了大部分常用技术 二. 常用处理器 ExecuteScript : 执行脚本处理器, 支持: clojure, ecmascript, groovy, lua, python, ruby QueryDatabaseTable : 数据库查询处理器, 支持: mysql ConvertAvroToJSON : avro 数据格式转换为 json SplitJson : 将JSON文件拆分为
nifi探索之处理器简介
qinqinyijia的博客
09-07 1962
Abstract本文将主要介绍nifi中常用的processors（翻译https://nifi.apache.org/docs/nifi-docs/html/getting-started.html）
NiFi 常用处理器(Processor)介绍
小伙无限帅
07-05 2227
常用处理器(Processer)介绍 处理器的种类 为了创建有效的数据流处理流程, 用户必须了解可用的处理器类型。NiFi 包含许多不同的处理器, 这些处理器提供了可从众多不同系统中提取数据, 路由, 转换, 处理, 拆分和聚合数据以及将数据分发到多个系统的功能。 下面将重点介绍一些最常用的处理器, 按功能对它们进行分类。 数据转换 CompressContent：压缩或解压 ConvertCharacterSet：将用于编码内容的字符集从一个字符集转换为另一个字符集 EncryptContent：加密或
大数据Nifi处理器
赵广陆
10-07 467
目录1 处理器介绍1.1 查看处理器1.2 常用处理器 - 整理2 配置处理器2.1 添加一个处理器2.2 配置处理器配置项说明2.3 配置处理器2.3.1 SETTING ( 设置 )2.3.2 SCHEDULING ( 任务调度 )2.3.3 PROPERTIES ( 属性 )2.3.4 COMMENTS ( 注释 ) 1 处理器介绍 1.1 查看处理器 1 选择处理器组件 2 弹出窗口显示的就是所有处理器 1.2 常用处理器 - 整理 ExecuteScript : 执行脚本处理器 支持: c
大数据之---Nifi-FlowFile属性_各种处理器提供了_属性提取_路由_自定义属性_强大的属性表达式语言还可以判断---大数据之Nifi工作笔记0008
添柴程序猿的专栏
02-21 431
也可以引用我们自己定义的属性可以看到${'my attribute name'}就引用了我们自己定义的熟悉。另外还有表达式语言可以在在配置中,直接引用FlowFile中的值,比如${uuid}可以直接引用uuid。然后我们再来看nifi的属性,很强大了,不用编写代码,就可以实现PB级的数据流处理。然后看一下FlowFile的共同属性,都很好理解,自己看吧,然后主要是属性路由,可以根据属性路由到不同的处理器。非常厉害了.可以看到,属性的作用可以看看。然后Nifi提供了几种提取属性的方法。
NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_处理器介绍_处理过程说明---大数据之Nifi工作笔记0019
添柴程序猿的专栏
04-03 354
这里的file size是1m的话,那么这里的 batch size是 5,那么以上就是没个批次会创建5个都是1m的文件,然后一般data fromat 我们用text文本格式,这里的search value就是正则表达式,比如是aaa,匹配正则表达式aaa成功的内容,就会被替换成 replacement value的值.evaluation mode这个是,替换策略,默认是一行一行的,还可以选择entire text,替换整个文档对吧.可以看到去设置这个处理器的大小,生成文件的大小。
NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
添柴程序猿的专栏
04-06 293
然后再来看进程组面板可以看到有名称,有活动的任务数,有组件面板,有右上角的错误显示bulletin indicator 然后再来看 有队列中的flowfile数和大小,有in,有out 这些都是5分钟内的。然后再来看,当前进程组中有9个停止的,有4个暂停的,有2个运行的 这个component counts这里。可以看到flow lineage 血统 流程 可以看到可以看到流程,数据执行的流程事件,可以拖动看处理流程。首先来看看状态栏可以看到有在执行的处理器数,还有停止的处理器数,这里只是说一下监控功能,
3、NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看
热门推荐
alanchanchn的专栏
05-10 7万+
NIFI除了提供能够将特定信息从FlowFile内容提取到属性中的处理器之外，NIFI还允许用户将自定义属性添加到每个FlowFile中的特定位置。UpdateAttribute就是专为此目的而设计。用户可以通过单击属性选项卡右上角的+按钮,在配置对话框中向处理器添加新属性。然后UI会提示用户输入属性的名称,然后输入值。对于此UpdateAttribute处理的每个FlowFile，都会添加用户自定义属性。Attribute的名称将与添加的属性的名称相同。属性的值也可以包含表达式语言。
nifi之处理器的类别（各个处理器的作用）
guijianchouxyz的博客
09-15 603
nifi之处理器的类别 对于处理器的类别的认识也是相对来说比较重要的，知己知彼放开百战不殆 处理器的类别 数据转换 Data Transformation(数据转换) CompressContent：压缩或者解压 ConvertCharacterSet：将用于编码内容的字符集从一个字符集转换成另一个字符集 EncryptContent：负责加密和解密 ReplaceText：使用正则表达式对文本内容进行更改 TransormXML：应用XSLT转换XML内容 JoltTransformJS
Apache Nifi
功夫熊猫
04-21 1075
2.2.4 NiFi创建数据流在创建NiFi数据流之前，先回顾下上一章节提到的两个重要术语：FlowFile和处理器单元，这两个是数据流的重要概念，对于我们理解并创建数据流有很大的帮助。FlowFile：数据流中的任何的用户数据都以FlowFile的形式存在。FlowFile包括两部分：正文和属性；其中正文指的是数据本身的内容，而属性则是对数据进行描述的键值对。处理器单元：处理器单元是NiFi数据...
大数据NiFi（六）：NiFi Processors（处理器）
Lansonli（蓝深李）的博客
01-03 836
EvaluateJsonPath：用户提供JSONPath表达式，这个表达式将对Json内容操作，将表达式计算的结果值替换FlowFile内容或将结果值提取到用户自己命名的Attribute中。PutSQL：将FlowFile的内容作为SQL语句（INSERT,UPDATE或DELETE）执行,该处理器将执行sql语句,同时支持参数化的SQL语句。ExtractText：用户提供一个或多个正则表达式,然后根据FlowFile的文本内容对其进行评估,然后将结果值提取到用户自己命名的Attribute中。
NiFi Processors之PutSQL
邢为栋
05-05 3803
NiFi是一个数据处理和分发系统，其中很重要的一部分是处理器(Processors)。一个处理器组合系统间的数据路由、转换或调解。处理器可以访问给定FlowFile的属性及其内容流。处理器可以在给定的工作单元中对零个或多个FlowFile进行操作，并提交该工作或回滚。 本文介绍NiFi处理器之一 ：PutSQL。 描述 执行SQL UPDATE或INSERT命令。传入的FlowFile的内容应该是...
nifi ExecuteScript processor python和groovy语言实现
cheui1987的博客
06-21 640
研究了几天nifi的ExecuteScript processor，在同事的帮助下终于调试通过了，记录python和groovy语言的不同实现： python： import json import java.io from org.apache.commons.io import IOU...
python executescript_nifi ExecuteScript processor python和groovy语言实现
weixin_42522374的博客
03-01 428
研究了几天nifi的ExecuteScript processor，在同事的帮助下终于调试通过了，记录python和groovy语言的不同实现：python：import jsonimport java.iofrom org.apache.commons.io import IOUtilsfrom java.nio.charset import StandardCharsetsfrom org.a...
大数据Nifi常用组件
赵广陆
10-07 1133
目录1 常用组件1.1 处理器( processor )1.2 数据流传入点（input-port）1.3 数据流输出点（output-port）1.4 组(process-group)1.5 远程组(remote process-group)1.6 聚合(funnel)1.7 模版(template)1.8 便签（label）2 导航(Navigate)3 操作区(Operate)3.1 配置(Configuration)3.2 启用(enable)3.3 禁用(disable)3.4 开始(start
NIFI起航
dijiao3728的博客
11-12 150
NIFI官网：http://nifi.apache.org/ 转载于:https://www.cnblogs.com/BigBra/p/6056278.html
Apache NiFi指南
最新发布
weixin_59295776的博客
07-31 5693
NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品，2014年NAS将其贡献给了Apache社区，2015年成为Apache顶级项目。是一个基于Web图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集等功能的数据处理与分发系统。说明：Apache NiFi 是为数据流设计支持高度可配置指示图的数据路由、转换和系统中介逻辑支持从多种数据源动态拉取数据NiFi是基于Java的，使用Maven支持包的构建管理NiFi基于Web方式工作，后台在服务器上进行调度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值