NIFI源码学习-(一)处理器启动

本文详细解析了NiFi启动处理器时,如何通过调用OnScheduled方法初始化并添加onTrigger任务到线程队列的过程,涉及StandardProcessorNode、TimerDrivenSchedulingAgent和线程池机制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、启动代码跟踪

先在界面上拖拽出来一个处理器

当在界面上点击右键 start 一个处理器,会向这个地址发送一个请求:

http://localhost:8080/nifi-api/processors/092f4a2b-0180-1000-3e18-f52febec01b8/run-status

处理这个请求的控制器位置如下:

 暂时抛开其他细节,747行这里基本上是把从URL 和body中的参数传了进去。

 跟进去

 

 上边453行的意图就很明显了,通过传进来的参数,判断对处理器进行的操作。在前边点击处理器的时候,可以看到要把处理器改成RUNNING的状态

 所以进455行,

parentGroup.startProcessor(processor, true);

 由这一行代码也可以看出,处理器的启动,是由所处的处理器组完成的。

这里额外说一下,在遇到接口的时候,选择stand开头的实现进去即可。

 上图红框的位置  scheduler 是 StandardProcessScheduler类

跟进去方法,来到

还有start 方法,继续点,就来到了 StandardProcessorNode 类当中,这个类就对应前端页面的一个处理器实例。

最后来到了1385行,这个方法把  startupTask 的构造缩略掉,如下

1498行 注释是这样的:

// Create a task to invoke the @OnScheduled annotation of the processor

新建一个任务去调用处理器中 有 @OnScheduled注解的方法,该方法可以理解为具体处理器的初始化方法,比如一个处理器需要连接数据库,那就可以在这个方法中建立数据库连接池。

构造过程关键的两步:

上边是用放射 调用 OnScheduled 方法

下边的方框,通过回调,把当前处理器,加入调度

 跟进314行的这个 schedule  方法,来到这里

 跟进46 行,选择  TimerDrivenSchedulingAgent  来到

 熟悉NIFI的,对87行的 getMaxConcurrentTasks 可能比较眼熟,最大任务数,其实就是在界面配置的值

 配置多少个,就会往 flowEngine 添加几个任务。 flowEngine 就继承自java 的线程池ScheduledThreadPoolExecutor。任务加进去之后,具体要做什么,可以从91行的 createTrigger 方法进去:

117行的注释,说明这个地方就是执行处理器任务的,跟进去,会发现它调用的是处理器 onTrigger 方法:

 二、总结

当在NIFI上启动一个处理器的时候,其实是执行处理器的 OnScheduled 方法,之后把 onTrigger 方法添加进了线程队列当中

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值