NiFi 常用处理器(Processor)介绍

常用处理器(Processor)介绍

处理器的种类

为了创建有效的数据流处理流程, 用户必须了解可用的处理器类型。NiFi 包含许多不同的处理器, 这些处理器提供了可从众多不同系统中提取数据, 路由, 转换, 处理, 拆分和聚合数据以及将数据分发到多个系统的功能。

下面将重点介绍一些最常用的处理器, 按功能对它们进行分类。

数据转换

• CompressContent：压缩或解压
• ConvertCharacterSet：将用于编码内容的字符集从一个字符集转换为另一个字符集
• EncryptContent：加密或解密
• ReplaceText：使用正则表达式修改文本内容
• TransformXml：应用XSLT转换XML内容
• JoltTransformJSON：应用JOLT规范来转换JSON内容

路由和调解

• ControlRate：限制流程中数据流经某部分的速率
• DetectDuplicate：根据一些用户定义的标准去监视发现重复的FlowFiles。通常与HashContent一起使用
• DistributeLoad：通过只将一部分数据分发给每个用户定义的关系来实现负载平衡或数据抽样
• MonitorActivity：当用户定义的时间段过去而没有任何数据流经此节点时发送通知。（可选）在数据流恢复时发送通知。
• RouteOnAttribute：根据FlowFile包含的属性路由FlowFile。
• ScanAttribute：扫描FlowFile上用户定义的属性集,检查是否有任何属性与用户定义的字典匹配。
• RouteOnContent：根据FlowFile的内容是否与用户自定义的正则表达式匹配。如果匹配,则FlowFile将路由到已配置的关系。
• ScanContent：在流文件的内容中搜索用户定义字典中存在的术语,并根据这些术语的存在或不存在来路由。字典可以由文本条目或二进制条目组成。
• ValidateXml：以XML模式验证XML内容; 根据用户定义的XML Schema,判断FlowFile的内容是否有效,进而来路由FlowFile。

数据库访问

• ConvertJSONToSQL：将JSON文档转换为SQL INSERT或UPDATE命令,然后可以将其传递给PutSQL Processor
• ExecuteSQL：执行用