使用ETL-kettle做一个企业级数据处理中台

背景:公司的供应链系统中比较多的库需要用到数据同步以及数据备份、历史数据清理等场景。这些场景的实现大部分是通过开发手动编码进行数据处理,开发周期较长也教繁琐,故考虑使用一些数据迁移工具来做,目前使用的是Kettle。

Kettle是一个比较成熟的数据处理工具,通过图形化界面操作进行数据处理,然后再通过服务端执行ktr文件即可快速实现一个数据处理的过程。

准备:

下载社区版Kettle图形处理软件(用于生成ktr文件)
Pentaho Community Edition Download | Hitachi Vantara

注意是pdi-ce-xxx开头的zip文件(windows下载zip文件),下载之后解压即可

1、制作ktr文件(数据处理流程:以实现一个两个不同库的相同结构表的同步为例)

进入解压目录,双击Spoon.bat文件打开ktr图形操作界面

新建一个ktr转换文件并创建转换流程(具体的转换流程创建后面再补充)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值