Apache NiFi 实现 Web 接口数据归集入库(全网最全步骤）

Apache NiFi（Niagara Files）是一个开源的数据流自动化平台，由美国国家安全局（NSA）开发并于2014年贡献给Apache基金会，2015年成为顶级项目。它专为解决复杂数据流挑战而设计，核心使命是 "自动化数据移动与转换"。

一、需求背景与技术目标

在数据中台建设中，需通过 NiFi 实现对第三方 Web 接口响应数据的自动化归集入库，核心需求包括：

• 动态参数入参：支持根据不同业务场景传递动态请求参数（如时间范围、分页参数等）；
• 数据增量更新：每日按时间戳增量获取最新数据，避免重复存储；
• 数据量统计：实时记录数据采集规模，为后续数据治理提供量化依据。

二、NiFi 实现web调用的整体流程架构

三、核心组件配置详解

1.执行sql