Spoon实现跨库数据迁移

本文通过Spoon实现从Oracle到MySQL的数据迁移,并解决了迁移过程中出现的中文乱码问题。详细介绍了设置步骤及参数调整。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Spoon是个功能很强大的ETL工具,下面使用spoon来实现不同数据库之间数据迁移的小demo。在此过程中遇到了数据迁移后出现中文乱码的问题,在结尾处我会列出中文乱码的问题和解决方法。

首先打开Spoon后创建一个转换
接着在转换里创建两个数据库连接,这里分别创建了mysql和oracle的连接。
然后把表输入插入/更新 拖到右边空白区域。
这里写图片描述

双击表输入,对表输入进行编辑
点击获取SQL查询语句,在弹出的数据库浏览器页面里找到目标表。
这里写图片描述

双击插入/更新,对插入/更新进行编辑,数据库连接选择mysql_db,因为我们准备把oracle里的数据迁移到mysql数据库里。
这里写图片描述

点击目标表旁边的浏览按钮,将弹出数据库浏览器窗口,在窗口里找到迁移的目标表,然后点击确定。
这里写图片描述

接下来开始对两个数据库表的字段进行编辑映射,如果两个数据库中的表结构相同,则可以直接点击获取更新字段,如果两个数据库中的表结构不相同,可以通过手动编辑字段之间的映射关系。
这里写图片描述

编辑映射,这个功能很好用,如果字段名称相同,spoon可以自动帮我们实现映射关系。
这里写图片描述

编辑迎神完成后。
这里写图片描述

点击开始运行,运行结束后,去mysql数据库查看是否有数据同步过来。
这里写图片描述

数据已经同步过来了。
这里写图片描述

下面是我遇到的中文乱码问题

没做任何设置之前,迁移后查看mysql表里面的数据中文被?号代替了。
这里写图片描述

在创建数据库连接那里修改mysql_db连接的参数
选项那里添加参数characterEncoding=utf8 ,如下图所示
这里写图片描述

修改后运行
这里写图片描述

乱码变成了上图这个样子,看来问题还是没有解决。

上网查了后进行如下修改,问题解决!
找到spoon解压目录下的spoon.bat文件,打开该文件对其进行编辑,在

if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"

后面加上下面这句

“-Dfile.encoding=UTF-8”

如图
这里写图片描述

修改完成保存后,重新启动Spoon,然后运行作业,去mysql数据库查看数据,发现mysql数据库中的中文正常了。

/** * 源数据库连接池配置 * */ ConnPoolConfig config = new ConnPoolConfig(); config.setMaxPoolSize(30); config.setInitialPoolSize(20); config.setUrl("jdbc:sqlserver://192.168.0.222;databaseName=ciems"); config.setDriverClass("com.microsoft.sqlserver.jdbc.SQLServerDriver"); config.setUsername("sa"); config.setPassword("Password2017"); /** * 源 * "queryDB" DBManager的自定义名称 * config 连接池配置 */ DBManager queryDb = new DBManager("queryDB",config); /** * 目标数据库连接池配置 * */ ConnPoolConfig tarconfig = new ConnPoolConfig(); tarconfig.setMaxPoolSize(30); tarconfig.setInitialPoolSize(20); tarconfig.setDriverClass("com.mysql.jdbc.Driver"); tarconfig.setUrl("jdbc:mysql://localhost:3306/datatransfer?useUnicode=true&characterEncoding=UTF8&useSSL=true"); tarconfig.setPassword("accp"); tarconfig.setUsername("root"); /** * 目标 */ DBManager insertDb = new DBManager("insertDB",config); /** *做数据导入处理时的接口 * */ InsertHandler handler = new DBInsertHandlerImpl("t_big_data",null,insertDb); /** * 迁移任务的配置,配置关键信息项 */ ApplicationConfig apConfig = new ApplicationConfig("t_big_data"); apConfig.setQueryThreadNum(8); //指定查询线程数量,不指定默认为8 apConfig.setDataNum(5000); //设置每次从源中抽取的数量 不指定默认为5000 /** * 源表的匹配条件 * 如果希望源表中符合条件的才迁移,请配置此项,禁止加where,请按照以下格式 */ apConfig.setConditionSql("0=0"); /** * 入方式 * ** * 增量入 ZLRK, (暂未实现) * 追加入 ZJRK, (目标有源表结构的基础上,增加源表的所有数据到目标中) * 刷新入 SXRK, (删除目标的源表结构,自动创建并导入数据) * 更新入 GXRK (暂未实现) * ** */ apConfig.setInsertType(InsertType.SXRK); /** * 日志线程,开启时可更直观的从标准输出流里观察到运行状态,不指定默认关闭 */ apConfig.setOpenLogThread(true); /** * 生命周期接口,线程不完全 * 分别有以下几个生命周期方法 * createTableDone() 目标被创建表结构时调用一次 * queryDone(boolean result, int start, int end, long time,Throwable e) * 有数据从源表中查询到数据时被调用,直到任务完成 * result 查询结果 * start 查询起始行 * end 查询结束行 * time 共耗时 单位:ms * e 查询失败时抛出的异常 * insertDone(boolean result, int num, int errorNum, long time,Throwable e) * 有数据导入到目的时被调用,直到任务完成 * result 导入结果 * num 导入总数量 * errorNum异常数量 * e 导入失败时抛出的异常 * taskDone(int all, int doneNum, int errorNum, long time,List errorRows, List e) * 任务完成时被调用 * all 任务总数据量 * doneNum 已完成的数据量 * errorNum异常的数据量 * time 总耗时 * errorRows异常的行记录 * e 所有的异常 */ TaskRunLog runLog = new TaskRunLogImpl(); /*** * 任务迁移核心类 * 以下是构造方式之一 * ApplicationConfig apConfig:任务关键配置 * DBManager queryDb: 源 * InsertHandler handler:导入处理器 */ DataThransferApplication app = new DataThransferApplication(apConfig,queryDb,handler,runLog); /** * 初始化任务 */ app.init(); /** * 任务开始 */ app.start();
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值