Apache Nifi

本文介绍了Apache Nifi中的一些关键处理器,如ControlRate用于限制数据流速率,DetectDuplicate用于检测和去除重复FlowFile,MonitorActivity则能在无数据流动时发送告警,RouteOnAttribute根据FlowFile属性进行路由,ScanAttribute和ScanContent对属性和内容进行匹配,RouteOnContent基于FlowFile内容做路由,而ValidateXml则对XML内容进行验证。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

2.3.2 数据路由类和调制处理器单元
ControlRate

ControlRate处理器单元用来控制数据流部分流量的速率。


上面的图中的例子表示1分钟内只允许最多1000个FlowFile流过。
DetectDuplicate

DetectDuplicate处理器单元用来依据用户定义的特征来监控和发现重复的FlowFile。通常这个处理器会搭配HashContent单元处理器来完成功能。


上面的图中的例子表示Processor根据输入的FlowFile的hash.value属性值作为去重条件对FlowFile进行匹配,将去重后的映射到non-duplicate的Relationship中,将重复的FlowFile映射到duplicate的Relationship中。
MonitorActivity

MonitorActivity处理器单元可以在用户定义的时段内如果没有数据流量就是发送告警通知,也可以选择附加功能,在数据流量恢复之后发送恢复通知。


上面的图中例子标示Processor每1分钟内没有FlowFile输入就会不间断的发出Inactivity Message属性的内容,且检测范围是本Node节点。
RouteOnAttribute

RouteOnAttribute处理器单元可以根据FlowFile的属性制定路由规则来对FlowFile进行路由。


上面的图中例子表示Processor根据输入的FlowFile的value属性进行路由,将含有hello的FlowFile路由到include hello text的Relationship中,将含有world的FlowFile路由到include world text的Relationship中。
ScanAttribute

ScanAttribute处理器单元用途是将FlowFile属性中被用户定义的属性与用户自定义的字典进行对比,看是否能够匹配。


上面的图中例子表示Processor输入的FlowFile中的属性值只要有一个包含了Sample.txt字典中任意一行的字符,那么Processor就会将这个FlowFile路由到matched的Relationship中。
RouteOnContent

RouteOnContent处理器单元的功能近似于RouteOnAttribute,区别在于RouteOnContent处理器单元进行路由判定的内容是FlowFile的内容而不是之前RouteOnAttribute处理器单元所使用的属性。


上面的图中例子表示Processor根据输入FlowFile的内容进行路由,如果输入的FlowFile的内容为hello,那么它将会被路由到hello relationship的relationship中。
ScanContent

ScanContent处理器单元同样也近似于ScanAttribute,区别在于前者用户选取的比对对象是内容而后者定义却是属性。


上面的图中例子表示Processor根据输入FlowFile内容进行扫描路由,如果FlowFile的内容为hello,那么它将会被路由到matched的relationship中。
ValidateXml

ValidateXml处理器单元将FlowFile的XML内容和用户的XML定义进行校验,将符合XML定义的FlowFile进行路由。

上面的图中表示Processor根据输入XML的Schema文件对输入的FlowFile内容进行校验匹配,如果校验合格的FlowFile会被映射到valid的relationship中。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值