书山有路，学海无涯。记录成长，追逐梦想

简单的说，NiFi 就是为了解决不同系统间数据自动流通问题而建立的。虽然 dataflow 这个术语在各种场景都有被使用，但我们在这里使用它来表示不同系统间的自动化的可管理的信息流。自企业拥有多个系统开始，一些系统会有数据生成，一些系统要消费数据，而不同系统之间数据的流通问题就出现了。这些问题出现的相应的解决方案已经被广泛的研究和讨论，其中企业集成 eip（Enterprise Integration Patterns） 就是一个全面且易于使用的方案。

对于一些新接触 Apache NIFI 的小伙伴来说，他们急于想体验 NIFI，恨不得直接找到一篇文章，照着做就直接能够解决目前遇到的需求或者问题，回想当初的我，也是这个心态。其实这样的心态是不对的。好多加入 NIFI 学习群的新手同学都会有这个问题，一些基本的概念和知识点都没有掌握，然后提出了一堆很初级的问题，对于这些问题，我们可能已经回答了几十上百次，厌倦了，所以大家一般会说 “你先去看文档吧！”。其实，对于一个新手，直接看文档，也是一脸懵。

在 NIFI 的代码架构设计中有一个模块叫 Extension，这个模块里包含了以下我们说的 Processor、Controller Service 等等可扩展的部分。Flow Controller 是将一切融合在一起的粘合剂。它为处理器分配和管理线程。

NiFi 其实就是一个数据接入、处理、清洗、分发的系统，它的工作方式就是将数据看作水管中的水，它是顺着某个流程管道流动，在这中间，可以在任意节点处堵截这个“水流”，并对它进行改造，然后放回管道继续向下流去。

首先 NiFi 中的 Controller Service 和我们 MVC 概念中的 Controller Service 不是一个概念，NiFi 中的 Controller Service 更像是和 Processor 同级的一个概念，它和 Processor 在我个人的使用经验来理解的话就是 它是预制好的各种服务，可以被 Processor 引用或者支撑 Processor，例如一个 SQL 读取的 Processor，它得需要 JDBC 的连接，才能访问数据库。这里 Controller Servic

该处理器用于生成在表中执行分页查询的 SQL 查询语句，分区（属性partition）大小以及表的行数决定页面的大小和数量以及生成的流文件。此外，可以通过设置最大值列（Max-Value）来实现增量抓取数据，处理器会跟踪列的最大值，从而只抓取列值超过已记录到的最大值的行。

PutDatabaseRecord 处理器使用指定的 RecordReader 从传入的流文件中读取（可能是多个，说数组也成）记录。这些记录将转换为 SQL 语句，并作为一个批次执行。如果发生任何错误，则将流文件路由到 failure 或 retry，如果执行成功，则将传入的流文件路由到 success。