Dataworks批量刷数优化方案探讨

Dataworks批量刷数优化方案探讨

在数据仓库的日常使用中，经常会有批量补数据，或者逻辑调整后批量重跑数据的场景。
批量刷数的实现方式，因调度工具差异而各有不同。

Dataworks调度批量刷数局限

我们的数据仓库构建在阿里云的dataworks+maxcompute产品上，dataworks的调度工具提供了补数据的功能，可以很方便的补整个任务流的数据，但是该功能有个局限，就是只能指定一个参数，即业务日期，如下图。
如果要刷一个月的数据，比如2021年10月份，要怎么操作呢？业务日期选定时间范围2021-10-01 ～ 2021-10-31。然后dataworks会根据选定的时间范围，每天生成一个实例去执行任务补数据，也就是补数据的任务要跑31次，每次补一天的数据。
这样就会导致整个补数的过程非常缓慢，且耗资源。

1. 因为maxcompute是基于hive的，一个任务的启动初始化-〉申请资源-〉等待资源分配的过程是很重、很缓慢的，31个天任务的这个过程中耗时会是单个任务的31倍(未并行的情况下)。初步统计了一下，单个maxcompute任务的启动耗时大概是8s，31个任务启动就比单个任务多出了4分钟，如果整个流程涉