在HHDI中利用Excel模板批量创建数据抽取任务

本文介绍如何使用HaoheDI平台快速批量创建数据抽取任务,通过导出和配置Excel模板,实现从源数据库到目标数据库的高效数据迁移,适用于ETL或数据迁移项目。

大部分的ETL或者数据迁移项目不可避免的会从源系统中抽取很多源表的数据到目标数据库中,少则几十张表,多则成百上千,这些表的抽取规则往往比较简单,只需要从源表中增量或者全量的抽取原始数据到目标数据库中,不需要做过多的清洗和转换,也就是ELT模式中的EL操作,这部分没什么技术含量但是重复工作量比较大,因此需要一种简便快速的方法来创建生成这些数据抽取任务。

在HaoheDI中实现这个步骤非常简单,现在举例说明一下详细的步骤:

假设我需要从源数据库SAMPLE_MSSQL(MSSQLServer)抽取下边的这些源表到目标数据库SAMPLE_ORACLE的ODS表中。

clipboard

如果SAMPLE_ORACLE数据库中还没有创建对应源表的ODS表,可以参照另外一篇文章(https://www.cnblogs.com/haohedi/p/10683596.html)通过“创建ODS表”功能快速在SAMPLE_ORACLE中生成对应的ODS表,如下图所示:

clipboard

可以将源和目标的元数据信息通过导出文本功能导出到excel文件中,后边在批量创建模板中会用到。

现在源表和目标表都有了,开始批量创建数据抽取任务了

打开转换任务页面,选择批量新建-》抽取任务:

clipboard

进入批量创建数据抽取任务页面,先配置好一个表的抽取,用作excel中的模板,然后点击导出批量创建模板按钮,将这一条数据导出到excel文件中。

clipboard

打开该excel文件,通过Excel的各种技能,将源表和目标表的信息配置好,源表和目标表的表名可以通过点击元数据的“导出文本”按钮,将数据导出到另外的Excel文件中后,再拷贝到批量抽取的Excel模板中。

模板配置如下(分2屏):

clipboard

clipboard[1]

注:<SOURCETABLE>和<TARGETTABLE>是模板变量,生成任务时可以替换成源表名和目标表名

Excel模板配置好后,保存文件。点击通过模板批量创建按钮,选择该模板文件,导入,如果目录中已存在该编号的任务,则这一个任务将创建失败。

clipboard[2]

创建好的任务显示如下:

clipboard[3]

转载于:https://www.cnblogs.com/haohedi/p/11114037.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值