kettle7.0下实现数据库整体迁移

最新推荐文章于 2024-05-24 15:33:45 发布
最新推荐文章于 2024-05-24 15:33:45 发布
阅读量349 收藏 1
点赞数
分类专栏： ETL 数据仓库 数据科学
原文链接：https://blog.youkuaiyun.com/sunggff/article/details/70213417
版权
本文详细介绍了一种从Oracle到MySQL的数据库迁移方法，包括使用软件自带工具和自定义迁移流程，涉及表结构复制、数据抽取等关键步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、采用软件自带方式

1.新建一个job，创建两个DB连接：source、target（源数据库和目标数据库连接），在菜单中找到【复制多表向导】，点击进行相关操作：


2.选择源数据库和目标数据库


3.选择所需迁移的表


4.编辑生成的job文件名：qy.kjb，和文件目录，编辑好后【Finish】


5.运行qy.kjb，可在test2数据库中看到成功生成迁移来的表。



二、自定义数据库迁移（oracle >> mysql）

1.创建一个主job：数据库迁移.kjb

2.创建转换：获取表名称.ktr

1) 创建一个DB连接：oraclesource（源数据库连接）

2)  表输入

注：oracle中获取表名SQL:select * from user_tables，mysql中为：show tables

3) 字段选择

     点击【获取选择的字段】，添加新的字段，选中"TABLE_NAME"并改名成“tablename”，将其余字段删除

 4）添加一个【复制记录到结果字符串】

3.新建一个job：抽取表.kjb

1) 新建一个DB连接：mysqltarget

4. 新建一个转换：表名称变量设置.ktr

1) 添加一个【从结果获取记录】

2）添加一个【设置变量】

5.添加一个【检查表是否存在】

6.新建一个转换：创建目标库表结构.ktr

1) 新建两个DB连接：oraclesource，mysqltarget

    创建过程同上

2）添加一个【表输入】

3）添加一个【Java代码】，代码如下：


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     {
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
        	Object[] r = getRow();
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //本地连接获取数据库元数据
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //org.pentaho.di.core.database.DatabaseMeta dbmeta = getTransMeta().findDatabase("target");
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     //资源库连接获取数据库元数据
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	org.pentaho.di.core.database.DatabaseMeta dbmeta = 
     
     null;
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	java.util.List list = getTrans().getRepository().readDatabases();
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     if(list != 
     
     null && !list.isEmpty())
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	{
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     for(
     
     int i=
     
     0;i<list.size();i++)
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		{
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			dbmeta = (org.pentaho.di.core.database.DatabaseMeta)list.get(i);
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     if(
     
     "target".equalsIgnoreCase(dbmeta.getName()))
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			{				
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     break;
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			}
    
    
    
   
   
  22. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		}
    
    
    
   
   
  23. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	}
    
    
    
   
   
  24. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  25. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     if(dbmeta!=
     
     null)
    
    
    
   
   
  26. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	{
    
    
    
   
   
  27. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		org.pentaho.di.core.database.Database db=
     
     new org.pentaho.di.core.database.Database(dbmeta);
    
    
    
   
   
  28. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
    
    
    
   
   
  29. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     try
    
    
    
   
   
  30. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		{
    
    
    
   
   
  31. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			db.connect();
    
    
    
   
   
  32. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  33. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			String tablename = getVariable(
     
     "TABLENAME");
    
    
    
   
   
  34. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  35. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     //在日志中显示创建表名
    
    
    
   
   
  36. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			logBasic(
     
     "开始创建表：" + tablename);
    
    
    
   
   
  37. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
    
    
    
   
   
  38. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
     
     if(tablename!=
     
     null && tablename.trim().length()>
     
     0)
    
    
    
   
   
  39. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			{
    
    
    
   
   
  40. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    								
    
    
    
   
   
  41. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //获取表名称和输入行数据
    
    
    
   
   
  42. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				String sql =  db.getDDLCreationTable(tablename ,getInputRowMeta());
    
    
    
   
   
  43. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  44. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				db.execStatement(sql.replace(
     
     ";", 
     
     ""));
    
    
    
   
   
  45. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
     
    
    
    
   
   
  46. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    				
     
     //在日志中显示sql语句
    
    
    
   
   
  47. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     				logBasic(sql);
    
    
    
   
   
  48. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			}
    
    
    
   
   
  49. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		}
    
    
    
   
   
  50. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    		
     
     catch(Exception e)
    
    
    
   
   
  51. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		{			
    
    
    
   
   
  52. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			logError(
     
     "创建表出现异常",e);
    
    
    
   
   
  53. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    			
    
    
    
   
   
  54. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		}
     
     finally{
    
    
    
   
   
  55. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     			db.disconnect();
    
    
    
   
   
  56. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     		}
    
    
    
   
   
  57. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     	}
    
    
    
   
   
  58. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    	
     
     return 
     
     false;
    
    
    
   
   
  59. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     }
7. 新建一个转换：表抽取.ktr

1）新建两个DB连接：oraclesource，mysqltarget。

     创建过程同上

2） 添加一个【表输入】

3）添加一个表输出

8.运行数据库迁移.kjb

在mysql数据库test2中成功生成迁移的所有表


注：1.此方案是在资源库环境下创建并运行的，需要登陆资源库。

        2.此方案下载地址：点击打开链接

存在问题：当源数据库中存在空表时，会报以下错误：

2017/04/19 14:57:05 - 创建表结构.0 - 开始创建表：KFYQGX
2017/04/19 14:57:05 - 创建表结构.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : 创建表出现异常
2017/04/19 14:57:05 - 创建表结构.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : java.lang.NullPointerException
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.core.database.DatabaseMeta.quoteReservedWords(DatabaseMeta.java:2352)
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.core.database.Database.getDDLCreationTable(Database.java:4441)
2017/04/19 14:57:05 - 创建表结构.0 -  at Processor.processRow(Processor.java:45)
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.trans.steps.userdefinedjavaclass.UserDefinedJavaClass.processRow(UserDefinedJavaClass.java:1018)
2017/04/19 14:57:05 - 创建表结构.0 -  at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
2017/04/19 14:57:05 - 创建表结构.0 -  at java.lang.Thread.run(Thread.java:745)


此问题还未解决，要是哪位仁兄解决了还望告知一下，共同探讨下


Kettle7.0实现主键，索引迁移
盛夏温暖流年
06-05 3215
之前的博客提到过，kettle的数据抽取主要在于抽取数据，而没有考虑数据库的函数、存储过程、视图、表结构以及索引、约束等，但这些对于数据库来说又是至关重要的，所以我们需要通过修改源码的方式来实现。 具体实现方式为：扩展kettle向导中的多表复制菜单里的功能，在该功能创建的作业中添加节点用于添加输出表的主键和索引。 一、Kettle源码下载 目前我使用的是kettle7.0.0版本，下载的源...
kettle实现数据库迁移
11-27
kettle完整流程实现数据库迁移，包括获取表名称，创建表，抽取表数据。
kettle工具坐mysql数据迁移_Kettle实现数据库迁移
weixin_39915078的博客
01-20 170
5、入库表结构创建执行的Java代码如下public boolean processRow(StepMetaInterface smi, StepDataInterface sdi) throws KettleException{// First, get a row from the default input hopObject[] r = getRow();org.pentaho.di.co...
kettle7.0下实现数据库迁移
04-19
该方案是将Oracle数据库迁移到MySQL数据库中，也支持Oracle、MySQL等多种数据库的相互迁移
kettle迁移数据库
梦幻通灵
01-31 5958
kettle数据迁移实战
数据库迁移——kettle开发01
最新发布
java程序员的蜕变之路
05-24 858
背景：数据库的多种多样，在搭建项目之初，并没有详细考虑到数据库的建设，当增加配置不能满足业务场景需要时，这时候考虑到使用更高性能的数据库，如将MySQL更换为。或者在搭建新项目时，需要复制原数据库的表结构和数据至其他数据库。
Kettle 7.0数据库迁移实战：Oracle转MySQL
下面将详细介绍在Kettle 7.0版本下实现数据库迁移的知识点。 ### 1. Kettle简介 Kettle是由Pentaho提供的一个全面的ETL解决方案。它的主要功能是处理数据的提取、转换和加载，而不依赖于特定的数据库。Kettle支持...
kettle7.0.0
08-12
总之，Kettle 7.0.0作为一个全面的数据集成工具，为企业提供了解决复杂数据问题的能力，无论是简单的数据迁移还是复杂的ETL过程，都能得心应手地完成。通过不断学习和实践，你可以充分发挥它的潜力，构建高效的数据...
kettle-数据迁移场景
qingxinziran007的专栏
01-25 4111
场景描述： 大家都知道，物联网项目的数据量大，如何高效的存储处理数据是一个非常棘手的问题。但是，往往在项目初期是不可能准确的预估到数据体量，随着项目的演进，就会发现现数据库性能会直线下降，甚至会导致服务挂掉。此时项目的架构也要随之进行革新，数据库也势必要切换到性能更强的数据库（比如，从关系型数据库到NoSql或时序数据库）。此时，kettle这个强大的ETL工具的用武之地就到了。那么kettle是如何在不同的数据库之间进行迁移的呢？
kettle 7.1
01-18
kettle 7.1 win 版安装包 s
Kettle 7.1.0 API （CHM格式）
04-30
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。 Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。 作为Pentaho的一个重要组成部分，现在在国内项目应用上逐渐增多。这是其API文档的CHM格式，方便查阅携带。 从之前发布其他chm文件下载用户的反映看，有不少朋友反映下载后打开无法显示，这一般不是chm文件的问题，这里统一说明一下解决办法： 如果文件打开看不到右边的内容，是因为你的操作系统为了安全对下载的chm文件进行了锁定，只需要在打开前右键单击该chm文件选择“属性”，然后在“常规”选项卡的下方单击“解除锁定”按钮就可以了。如果还是不能看，请再查看一下你的chm文件所存储的目录或文件名是否有特殊字符如“#”号字符等，去掉特殊字符即可。
pentaho-kettle-7.0.0.0-R.zip
11-08
kettle7.0的一些相关源码，可以通过eclipse编译，并且能运行出相关的spoon界面，本人亲测可用。
pentaho-kettle-7.1.0.1-R.zip
07-04
pentaho-kettle-7.1.0.1属于etl交换开源工具kettle的源码，包括数据同步、插入更新等
kettle 7.1 官方例子(附带文档整理-中英文对照)
10-24
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 这是我在学习的时候整理的文档，主要是官方的例子，有excel表格，列出了所有的官方例子，中英文对照，可以根据此表格，找到需要的官方配置示例。
KETTLE进行千万级数据迁移
myheart_beat28的博客
02-06 2072
任务需求。
kettle多表数据迁移
u014061745的博客
11-15 1021
点击 文件——新建——作业，在左侧的 核心对象 标签下选择 通用，双击添加一个 start ，一个 转换 ，一个 作业 和一个 成功 到右侧的作业面板，这些作业项都可以改名字。点击文件—新建—转换,在左侧的 核心对象 标签下选择 输入 下的 表输入，双击添加到右侧的转换面板，再选择 作业 下的 复制记录到结果 ，双击添加到右侧的转换面板。新建转换，在左侧的 核心对象 标签下选择 作业 下的 从结果获取记录，双击添加到右侧的转换面板，再选择 作业 下的 设置变量 ，双击添加到右侧的转换面板。
Kettle(二)数据同步、迁移（基础版）
king的专栏
01-03 8788
Kettle数据同步、迁移基础版本
kettle实例--数据迁移和装载
fxxhmn的博客
10-26 677
（4）双击表输出控件，建立数据库连接，由于输出的项目为中文，需要在数据库连接的选择一栏中添加characterEncoding=utf-8，如图。（4）双击插入/更新控件，连接数据库，将成绩数据插入数据库数学成绩的表中。（5）由于需要输出到数据库中，需要提前在数据库中创建表格。（6）获取字段，点击字段映射，一一对应后点击确定。（1）点击Excel输入控件，导入数据，如图。（1）双击Excel输入控件，导入数据。（1）双击Excel输入控件，导入数据。（6）字段选项卡中获取字段，如图。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值