超级会员免费看
本文深入探讨NIFI集群，解析零主集群的概念，即没有专门记录元信息和协调集群的主节点。每个节点执行相同任务，通过Zookeeper选择一节点作为协调器。讨论了主节点、普通节点和NIFI集群协调器的角色，以及如何配置Processor确保数据处理的一致性和避免重复。此外，还提到了Processor的心跳机制。
这里要知道dfm是什么,dfm就是数据流管理者,就是data flow manager 就是用户,使用nifi的用户
可以看到什么是零主集群, 零主集群就是,没有主节点的集群,没有一种专门负责记录元信息,
协调集群的这样一个节点.
每个节点都是用来执行相同的任务,只有一个节点会被zookeeper作为集群协调器来用,具体看描述吧
看一下什么是主节点,什么是节点,什么是NIFI集群协调器
然后再来看什么是孤立的processor,比如,getsftp获取文件,肯定不能让他在每个节点上都执行,那样的话,获取的数据就是重复的了,只能在某个节点上执行,这个时候就可以设置,在主节点上getftp这个
为独立运行,那么这时候就只在主节点上执行了,保证数据只读取一份了就,但是经过主节点获取数据以后,获取的数据流出去以后,这些数据的后续处理可以在所有节点上执行.
然后再看一下心跳.
扫一扫
388
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
