背景:公司的供应链系统中比较多的库需要用到数据同步以及数据备份、历史数据清理等场景。这些场景的实现大部分是通过开发手动编码进行数据处理,开发周期较长也教繁琐,故考虑使用一些数据迁移工具来做,目前使用的是Kettle。
Kettle是一个比较成熟的数据处理工具,通过图形化界面操作进行数据处理,然后再通过服务端执行ktr文件即可快速实现一个数据处理的过程。
准备:
下载社区版Kettle图形处理软件(用于生成ktr文件)
Pentaho Community Edition Download | Hitachi Vantara
注意是pdi-ce-xxx开头的zip文件(windows下载zip文件),下载之后解压即可
1、制作ktr文件(数据处理流程:以实现一个两个不同库的相同结构表的同步为例)
进入解压目录,双击Spoon.bat文件打开ktr图形操作界面
新建一个ktr转换文件并创建转换流程(具体的转换流程创建后面再补充)