ETL工具-nifi干货系列 第一讲 揭开nifi神秘面纱

1、nifi简介

Apache NiFi 是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由、转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面，用于设计、控制、反馈和监控数据流。它在多个服务质量维度上都具有高度可配置性，例如容忍丢失与保证传递、低延迟与高吞吐量、基于优先级的排队等。NiFi为所有接收到的数据提供了细粒度的数据溯源，包括接收、分叉、连接、克隆、修改、发送以及最终到达配置的最终状态时被丢弃的过程。

2、转换或者job设计工具

nifi是基于web页面直接进行设计，可以很方便的进行团队协作。kettle则是基于本地客户端spoon进行设计。

3、核心概念/术语

DataFlow Manager（数据流管理者）

是指具有权限来添加、移除和修改 NiFi 数据流组件的 NiFi 用户。该角色在 NiFi 中负责管理数据流的组件和操作。

3.1 FlowFile（流文件）

代表 NiFi 中的单个数据单元。一个 FlowFile 由两个组成部分构成：FlowFile 属性和 FlowFile 内容。内容即为 FlowFile 所代表的数据。属性是提供有关数据信息或上下文的特征，它们由键值对组成,所有的 FlowFiles 都具有以下标准属性：

uuid：全局唯一标识符，用于区分系统中的该 FlowFile 与其他 FlowFiles。

filename：人类可读的文件名，在将数据存储到磁盘或外部服务时可能会使用。

path：分层结构的值，在将数据存储到磁盘或外部服务时可以使用，以避免数据存储在单个目录中。