ADF动态内容的使用：基于文件名过滤和增量加载

在使用Azure Data Factory (ADF) 进行数据处理时，经常会遇到需要根据文件名中的日期进行过滤和增量加载的情况。本文将通过一个具体的例子，详细讲解如何在ADF中实现这一需求。

背景介绍

假设我们有一个FTP服务器，存储着每周更新的文件，这些文件的命名方式如下：

• a_2023-01-01.csv
• b_2023-01-01.csv
• c_2023-01-01.csv

同时，这些文件也可能以.zip和.ok（但.ok文件需要被过滤掉）结尾。我们需要实现一个ADF管道，该管道可以：

1. 从SQL数据库中获取上次成功运行的日期。
2. 过滤出文件名中的日期大于等于上次成功运行日期的文件。
3. 确保文件扩展名是.csv或.zip。

实现步骤

步骤1：获取上次成功运行的日期

首先，我们需要一个Lookup活动来从SQL数据库中查询上次成功运行的日期：