kettle8.2 将mysql的数据导入到oracle的时候报内存溢出

最新推荐文章于 2022-08-11 15:47:39 发布
原创 最新推荐文章于 2022-08-11 15:47:39 发布 · 1k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etl #数据仓库 #kettle #mysql #oracle

本文介绍了一种mysql数据源中约2000万条记录导入oracle时遇到的内存溢出问题及解决方案。通过调整kettle的读取方式而非单纯增加内存分配，成功解决了这一难题。

mysql数据源的表中有数据有2000万条左右，占用空间大概20G，使用kettle将该表中的数据导入到oracle中的时候，总是报内存溢出。

开始调整了spoon.bat的参数如下：

没有起作用。

设置-Xmx8192也不行

最后发现是数据读取的问题，将jdbc读取的参数加上就可以了，如下：

导入过程如下：

 

 

精选资源
使用kettle将mysql中的数据导入到hive中
01-07
先说说思路：1是直接从mysql输出至hive中，另外一个是先将数据搞到hdfs中，再load一下，当然这只是textfile存储格式而言，若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表，再insert into table select ...
精选资源
kettle 8.2 网盘资源
06-26
链接: https://pan.baidu.com/s/16tE3iLDypOuf9WjabJcAnQ?pwd=mj42 提取码: mj42 复制这段内容后打开百度网盘手机App，操作更方便哦
强大简单的mysql迁移到oracle的工具
03-20
NULL 博文链接：https://noobjava.iteye.com/blog/870011
使用kettle工具进行MySQL迁移Oracle数据库
橘子局的专栏
01-31 2758
一、kettle安装准备 下载链接： http://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/6.0/pdi-ce-6.0.1.0-386.zip 1、此软件运行需要JDK环境，所以电脑没装JDK的话，先下载安装。 2、Kettle解压到英文路径的文件夹中就可以了，不需要安装。 3.、点击data-integr
mysql 导入数据时内存溢出问题
netingcn
02-16 6309
用mysqldump导出一个数据库,其中有两个表数据有20多W,执行导入的时候老是保内存溢出,试验了多种方法,始终不行,后来看mysql的服务器的配置,发现里面没有啥设置,于是在里面增加一个max_allowed_packet=32M配置,然后重新导入时候没有保错,数据完全导入了.后来发现mysqldump导出的数据默认是--complete-insert,及把所有的值都写在一行,估计插入的时候会
kettle数据库迁移之mysql到oracle
热门推荐
木头若愚
03-29 1万+
这几天接到一个数据迁移的需求，将mysql数据库数据迁移到oracle数据库，经同事推荐kettle，就研究了一下kettle工具，使用起来还是很简单的。 一、安装 下载链接： http://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/6.0/pdi-ce-6.0.1.0-386.zip 我的电脑：Win1
mysql导入数据内存溢出_mysql - mySQL：导入数据库时​​的外键约束 - 堆栈内存溢出...
weixin_39756235的博客
02-02 187
我正在将mySQL数据库从一台服务器导出到另一台服务器。 我的导出文件包含所有表定义，数据，结构等。所有表都使用InnoDB引擎和utf8字符集。 我在关闭“启用外键检查”的情况下进行导入-我的导出文件中还包含“ SET FOREIGN_KEY_CHECKS = 0;”行。但是，当我导入数据时，出现错误“＃1215-无法添加外键约束”这是输入文件中的表定义：CREATE TABLE IF NO...
精选资源
Kettle8.2网盘下载地址.txt
12-15
kettle8.2下载地址，真实有效！！！
精选资源
Kettle生成1亿条数据导入oracle
04-14
在这个项目中，Kettle被用来生成一亿条信用卡号模拟数据，并将这些数据成功地导入到Oracle数据库中，同时避免了常见的内存溢出问题。 【描述】提到的"生成了一亿条信用证卡号"展示了Kettle在生成测试数据方面的强大...
精选资源
kettle动态解析XML文件数据导入Oracle或者其他数据库
05-26
kettle动态解析XML文件数据导入Oracle或者其他数据库 需求背景： 因为客户每天都要通过接口通过ftp上传固定格式的xml的文件，需要每天定时解析指定目录下的指定名称的xml文件导入Oracle和其他的数据库，所以开发了这...
mysql数据迁移到Oracle的正确方法
12-16
在mysql数据库里有一个表student，它的结构如下： 在Oracle数据库里有一个表from_mysql，它的结构如下： 现在要把数据从mysql的student转移到Oracle的from_mysql中去，这里笔者借助kettle的spoon工具，可以快速的实现这个功能。 首先，打开spoon，新建一个转换，命名为表输入到表输出。然后在核心对象中的输入那里找到表输入，拖到编辑界面中，再从输出那里找到输出拖到编辑界面中，连接表输入和表输出，如图所示： 右击表输入，选择编辑步骤，弹出如下窗口： 在数据库连接那里选择连接的数据，这里选择mysql，可以点击编辑对数据库进行修改
使用kettle转换oracle与 mysql的表数据
02-02
简单讲解了使用kettle 如何把oracle与mysql的数据进行转换的方法及案列 和最基本的一些配置方法。
使用KETTLE从mysql同步增量数据到oracle
weixin_34279061的博客
09-29 1663
2019独角兽企业重金招聘Python工程师标准>>> ...
oracle导入sl内存溢出,Oracle 11.2.0.2.0 RAC环境一次内存溢出ORA-04031问题的处理
weixin_34638776的博客
04-13 611
环境信息数据库版本：11.2.0.2.0操作系统版本：AIX 6.1一．现象1.RAC环境中其中一台服务器node2负载上升(平时为idle为90左右)，node1数据库正常，下面为node2当时的SAR报告bash-3.00# sar -f sa15|moreAIX p740db2 1 6 00F688714C00 08/15/12System configuration: lcpu=32...
mysql数据库转移到oracle
m0_63163813的博客
08-11 882
mysql数据库转移到oracle_阳光女孩666的博客-优快云博客_mysql数据迁移到oracle
kettle 运行时内存溢出问题调优经验总结
qq_36211262的博客
08-10 8313
大概意思就是说，JVM花费了98%的时间进行垃圾回收，而只得到2%可用的内存，频繁的进行内存回收(最起码已经进行了5次连续的垃圾回收)，JVM就会曝出java.lang.OutOfMemoryError: GC overhead limit exceeded错误。objectTimeout=1440 默认一天，即将执行完成的Job对象保留一天时间，可以在kettle.properties中自定义该属性的值，这边改的是5分钟，即任务执行完成后5分钟就会被扫描成过期的对象，让它尽量在年轻代就被回收掉。.....
【JEECG示例文档】使用Kettle从mysql向oracle中抽取数据
fswhwd的博客
11-08 313
【JEECG示例文档】使用Kettle从mysql向oracle中抽取数据
kettle分批处理大表数据_KETTLE——Weka处理大数据量内存溢出问题 | 学步园
weixin_39540315的博客
12-21 508
现在做的一个项目ETL采用KETTLE，通过Perl脚本进行分天表、月表及年表的创建，并修改KETTLE创建的抽取任务模板。即使这样在处理天表表近百万数据量时，Kettle也会有时发生内存溢出现象，导致抽取任务失败。今天发现了一哥们BLOG中的解决办法，特分享。以Spoon.bat为例,其他组件和.sh操作类似用文本编辑器打开Spoon.bat找到:REM ********************...
kettle数据溢出了怎么办_KETTLE内存溢出解决方案
weixin_42133452的博客
12-23 2171
kettle内存溢出数据跑到一半或者一大半时报错。在kettle的运行路径中，用文本编辑器打开Spoon.bat，找到:REM ******************************************************************REM ** Set java runtime options **REM ** Change 256m to higher values ...
kettle 怎么把mysql的数据导入到oracle的数据库里
最新发布
03-28
<think>好的，我现在需要帮助用户了解如何使用Kettle将MySQL的数据迁移到Oracle数据库。首先，我得回顾一下用户提供的引用内容，看看有没有相关的步骤或配置信息。用户提到了四个引用，其中引用[1]、[3]、[4]提到了Kettle在Oracle和MySQL之间迁移数据的方法，而引用[2]是关于从MySQL导入到HDFS的，但可能部分步骤可以借鉴。 首先，用户需要的是从MySQL到Oracle的迁移，而引用中大部分是关于Oracle到MySQL的，不过配置步骤应该是类似的，只是数据源和目标不同。我需要整理这些引用的信息，并结合Kettle的一般使用方法，给出一个清晰的步骤教程。 引用[3]提到Kettle的安装和启动，需要确保Java环境正确，并且驱动包已经放置到lib目录下。用户可能需要注意Oracle和MySQL的驱动是否正确安装。引用[1]和[4]都提到了驱动包的位置，所以需要强调驱动的重要性，避免连接问题。 接下来，步骤可能包括创建转换、配置输入输出。例如，引用[2]中提到的表输入和Hadoop输出，这里可能需要替换为MySQL表输入和Oracle输出。需要指导用户如何在Kettle中添加表输入步骤，连接到MySQL，然后连接到Oracle的输出步骤，比如“表输出”或“插入/更新”步骤。 另外，引用[3]提到内存参数设置的问题，如果用户遇到启动问题，可能需要调整Spoon.bat中的内存参数，或者更换机器，这可能是一个常见问题，需要包含在教程的注意事项中。 同时，引用[4]的CSV导入MySQL的方法虽然不同，但可能涉及字段映射和转换，这部分在迁移时也需要考虑，确保数据类型的兼容性。可能需要提醒用户检查Oracle和MySQL之间的数据类型差异，必要时进行转换。 还需要考虑用户可能遇到的问题，比如驱动问题、连接字符串格式、字符集设置、主键或索引的处理等。例如，Oracle的JDBC URL格式是否正确，是否使用了正确的端口和服务名，以及MySQL的连接参数是否正确。 总结步骤应该是：安装Kettle并配置驱动→创建转换→配置MySQL输入→配置Oracle输出→字段映射→执行转换。需要详细说明每个步骤的具体操作，比如如何添加连接、如何测试连接、如何选择表和字段等。 此外，用户可能需要了解性能优化的方法，比如提交记录数、批处理等，这些可以引用类似迁移中的建议，但需要根据Oracle的特性进行调整。例如，调整提交批量大小，使用事务控制等。 最后，生成相关问题时要围绕Kettle数据迁移的常见问题，比如性能调优、错误处理、其他数据库支持等，确保用户能进一步探索相关问题。</think>### 分步教程：使用Kettle从MySQL迁移数据到Oracle #### **1. 环境准备** - **安装Kettle** 从官网下载Pentaho Data Integration (Kettle)并解压[^3]。 双击运行`Spoon.bat`（Windows）或`Spoon.sh`（Linux/Mac）启动图形化界面。 - **配置数据库驱动** - **MySQL驱动**：将`mysql-connector-java-x.x.xx.jar`放入Kettle的`lib`目录。 - **Oracle驱动**：将`ojdbc8.jar`（根据Oracle版本选择）放入同一目录[^1][^3]。 --- #### **2. 创建数据迁移转换** 1. **新建转换** 启动Kettle后，点击`文件 → 新建 → 转换`，创建一个空白转换。 2. **添加MySQL表输入** - 从左侧面板拖拽`表输入`到工作区。 - 双击组件，点击“新建”连接MySQL数据库： ```plaintext 连接类型: MySQL 主机名: MySQL服务器IP 数据库名: 数据库名称 端口: 3306 用户名/密码: 填写凭证 ``` - 输入SQL查询（如`SELECT * FROM table_name`）或直接选择表[^2][^4]。 3. **添加Oracle表输出** - 拖拽`表输出`组件到工作区，并连接`表输入`到`表输出`。 - 双击组件，点击“新建”连接Oracle数据库： ```plaintext 连接类型: Oracle 主机名: Oracle服务器IP 数据库名: Oracle服务名/SID 端口: 1521 用户名/密码: 填写凭证 ``` - 指定目标表名，勾选“指定数据库字段”进行字段映射[^1][^4]。 --- #### **3. 配置字段映射** - 在`表输出`组件的“数据库字段”选项卡中： 点击“获取字段”自动匹配源表和目标表字段。 若字段名或类型不匹配，需手动调整（如MySQL的`DATETIME`转Oracle的`DATE`）。 --- #### **4. 优化性能（可选）** - **批量提交** 在`表输出`中设置“提交记录数”（如每1000条提交一次）。 - **禁用索引** 在Oracle目标表上提前禁用索引，导入完成后重建。 - **调整内存** 若数据量大，修改`Spoon.bat`中的内存参数（如`-Xmx4096m`）。 --- #### **5. 执行迁移** - 点击![运行按钮](https://via.placeholder.com/15/00ff00?text=+)运行转换，观察日志确保无报错。 - 验证Oracle表中数据完整性。 --- #### **注意事项** 1. 若连接失败，检查驱动版本和网络权限。 2. Oracle表字段长度需兼容MySQL数据，避免截断。 3. 字符集统一（如UTF-8），防止乱码。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值