NIFI概览

Apache NiFi是一个强大的数据处理和分发系统,支持数据路由和转换,具备可视化配置、容错性和保证交付等功能。其架构包括单机和集群模式,集群模式下通过ZooKeeper进行协调。NiFi的特性包括保证交付、数据回压、优先级队列、QoS配置以及可视化界面等,提供灵活的扩展性和集群扩展能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Apache NiFi是一个易用、强大、可靠的数据处理与分发系统。 它支持数据路由,转换等。 NiFi提供web界面,用于设计,控制,反馈和监视数据流。 它有很强的可配置性,如容错与保证交付,低延迟与高吞吐量以及基于优先级的队列。 NiFi为接收到的所有数据提供细粒度的,fork,join,修改,发送,并在达到配置的最终状态时丢弃。

简单的说,nifi就是为了自动化系统之间的数据流而建立的。数据流这里指自动化管理系统之间的信息流。因为企业有多个系统,一些系统创建数据,一些系统消耗数据。(如果只是单纯的生产和消耗的关系,kafka是更好的方案,NIFI的优势在于它提供了可可视化配置的、可热插拔的对数据流的处理)

NIFI架构

单机架构:

单机架构

NiFi系统上的JVM中执行。 JVM上NiFi的主要组件如下:

  • Web Server,其主要目的是承载NiFi基于HTTP的命令和控制API;

  • Flow Controller,其是NiFi执行具体操作的大脑,负责给Processor分配可执行的线程,以及其他资源管理调度的工作;

  • FlowFile Repository,其负责保存在目前活动流中FlowFile的活跃状态,其功能实现是可插拔的。默认的方式是通过一个存储在指定磁盘分区的持久预写日志,来实现此功能。

  • Content Repository,其负责保存在目前活动流

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值