下篇丨数据融合平台DataPipeline的实际应用场景

一、对分库分表场景的支持

 

1. 场景说明

 

在同一个数据任务中，对源系统某张表，根据表中数据的业务逻辑，将数据同步到不同数据库的不同表中，例如：将集团的销售数据按照所属分公司的不同同步到对应的分公司数据库的销售数据表中。

 

2. 场景适用说明

 

源/目的地：关系型数据库

 

读取模式：无限制

 

3. 操作步骤

 

（1）根据设计确定分库分表规则；

（2）根据已定规则选择对应数据源并创建数据源；

（3）目的地将分库分表规则按照指定格式写入CSV文件；

（4）DP将根据已定义的CSV规则对源端数据进行分库分表写入目的地。

 

注：详细细节可联系DataPipeline提供开发文档说明。

 

二、自定义数据源场景

 

1. 场景说明

 

目前，许多企业在数据传输的需求场景中，除了从上游不同业务数据库中实时、定时