DataPipeline数据融合重磅功能丨一对多实时分发、批量读取模式

为能更好地服务用户，DataPipeline最新版本支持：

1. 一个数据源数据同时分发（实时或定时）到多个目的地；

2. 提升Hive的使用场景：

   写入Hive目的地时，支持选择任意目标表字段作为分区字段；

   可将Hive作为数据源定时分发到多个目的地。

3. 定时同步关系型数据库数据时，可自定义读取策略来满足各个表的同步增量需求。

本篇将首先介绍一下一对多数据分发及批量读取模式2.0的功能，后续功能会在官微陆续发布。

推出「一对多数据分发」的背景

在历史版本中，DataPipeline每个任务只允许有一个数据源和目的地，从数据源读取的数据只允许写入到一张目标表。这会导致无法完美地支持客户的两个需求场景：

需求场景一：

客户从一个API数据源或者从KafkaTopic获取JSON数据后，通过高级清洗解析写入到目的地多个表或者多个数据库中，但历史版本无法同时写入到多个目的地，只能创建多个任务。这会导致数据源端会重复获取同一批数据（而且无法完全保证数据一致性），浪费资源，并且无法统一管理。

需求场景二：

客户希望创建一个数据任务，