GP copy 数据迁移

最新推荐文章于 2025-08-07 11:20:37 发布
最新推荐文章于 2025-08-07 11:20:37 发布
阅读量1.6k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： kettle GP(GreenPlum 大规模并行数据库)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MyySophia/article/details/84986959
本文详细介绍了从Oracle到Greenplum进行数据迁移的过程，包括处理栏位不一致、类型转换和数据整合。利用Oracle的SQL插入和CSV导出，结合Greenplum的COPY命令实现高效数据导入。同时，文中提到了COPY命令的注意事项，如CSV文件格式、错误处理机制以及遇到的额外数据列错误，并给出了解决方案。另外，还讨论了数据库事务警告的处理方法，如执行VACUUM避免数据库关闭。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

实际业务需求：Oracle - >GP

要求1、栏位不一致

       2、栏位的类型需要改变

       3、源表新旧数据整合到目标表 array_glass_his_t/array_glass_his_old_t - > array_glass_his_t

       4、.........(可以对数据做一些简单清洗)

在Oracle建立与目标表结构一致的表，使用

insert into   tablename A
select 需要的栏位 from tablename B。

将 table B导出csv档案。

在qmsprd使用

copy 目标表 from '待导入CSV档案' with DELIMITER AS  ' , ' NULL as 'null string'; 

千万级别的数据在秒级可以导入，之前用kettle导千万级别的数据需要12H左右。

Note：1、csv格式必须为utf-8

ERROR:invalid bytesequence for encoding "UTF8": 0xcdf5

   2、GP提供postgresql中标准的copy命令

了解本专栏 订阅专栏 解锁全文 超级会员免费看
gpcopy命令详解
数据源的港湾
09-12 1036
注：本文部分翻译自gpcopy实用程序将对象从源Greenplum数据库系统中的数据库复制到目标Greenplum数据库系统中的数据库。
GP中copy命令
learning_oracle的博客
01-08 8335
--把外部文件（cvs格式）copy至数据库内部表mytable中 COPY mytable FROM '/data/myfile.csv' WITH CSV HEADER; （文件生成在Master） \COPY mytable FROM ‘/data/myfile.csv’ WITH CSV HEADER;（文件生成在本地） --把 '|' 为分隔符的外部文件copy至数据库内部
「揭秘GP」Greenplum新一代数据迁移工具gpcopy，更快更稳更易用
Greenplum中文社区
06-24 1059
gpcopy 是新一代的 Greenplum 数据迁移工具，可以帮助客户在不同集群间，不同版本间，快速稳定地迁移数据。同上一代迁移工具 gptransfer 相比，gpcopy 具有巨大的优势：更快，更稳定，更易用，功能更丰富。另外，gpcopy 只包含在商业版本中。 gpcopy 可以干什么 gpcopy 可以迁移整个集群，也可以具体传输某些数据库、某些命名空间和某些表；可以从文件读取传输或者略过的表，支持正则表达式；可以略过、追加或者替换目标集群的数据；可以并行传输；可以只迁移结构信息；可以静默自动化执
Greenplum数据迁移工具——gpcopy
weixin_51052054的博客
04-08 3633
gpcopy是一个数据迁移实用程序，可以在不同集群之间进行传输数据，可以将一个集群中的Greenplum数据库的元数据和数据复制到另一个集群的Greenplum数据库中。gpcopy可以迁移数据库的全部内容，包括数据库架构、表数据、索引、视图、角色、用户自定义函数、资源队列、资源组。 gpcopy-2.3.0.tar.gz 使用说明： 前提： 1、gpcopy压缩包，可到官网下载，建议先确定源库以及目标库的GP版本，对照gpcopy说明下载相应的版本。 2、GPCOPY需要两个GP（FD）集群做数据迁移，不
Greenplum数据迁移--gpcopy的知识点整理
非洲的小白的博客
11-25 8438
以下资料是根据Pivotal Greenplum官网翻译、Grenplum中文社区博客以及个人测试所得，如有部分描述错误，欢迎下方评论指出，共同进步。 目录 一：gpcopy介绍 二：gpcopy相较于gptransfer 三：gpcopy版本发展史 四：gpcopy命令（基于gpcopy1.5.0） 五：gpcopy官方提示注意点 六：gpcopy使用测试注意点 七：gpcopy...
在 PostgreSQL 里如何处理数据的分区表的数据迁移和重新分布？
发现生活，分享智慧，一起成长！
07-14 1488
在 PostgreSQL 中，处理分区表的数据迁移和重新分布是一项重要的任务，需要我们深入了解分区表的特性和功能，掌握合适的方法和技术。通过合理地进行数据迁移和重新分布，可以提高查询性能、数据管理的灵活性以及系统的整体性能，为业务的发展提供有力的支持。数据迁移和重新分布就像是一场精心策划的战役，需要我们在战前做好充分的准备，在战中灵活应对各种情况，在战后进行认真的总结和反思。只有这样，我们才能在这场战役中取得胜利，为数据库的管理和应用打下坚实的基础。🎉相关推荐🍅关注博主🎗️。
Greenplum数据迁移（恢复到配置不同的GP系统）
lijingkuan的博客
01-02 4245
操作流程： 1、源库并行备份，生成数据库对象的DDL语句，数据导入文件，及数据库索引、约束等DDL语句。 2、将生成的备份文件copy到目标库master节点。 3、目标库串行恢复，先恢复数据库表结构，然后导入数据，最后生成其他数据库对象。使用gp_dump/gpcrondump并行备份greenplum数据库，如要使用gp_restore或gpdbrestore并行恢复操作，恢复的系统必须与备份的
使用GP外部表及copy命令进行数据的导入
yy8093的专栏
01-13 2072
在某个项目任务中，需要将一堆的小文件（文件存放在ftp服务器上）中的内容，导入到数据库中。小文件中的内容是一个json格式的字符串。 考虑到使用外部表来进行数据的导入，而外部表，需要在数据库服务器本地，所以还需要将文件传到数据库服务器。 使用Xmanager Enterprise连上数据库服务器，开启通道，gpfdist -p 9876 -d /home/gpadmin/ -m 2...
PostgreSQL Copy 命令
kwame211的博客
07-27 1万+
COPY --  在表和文件之间拷贝数据 Synopsis COPY tablename [ ( column [, ...] ) ] FROM { 'filename' | STDIN } [ [ WITH ] [ BINARY ] [ OIDS ] [ DELIMITER [ AS ] 'delimiter' ] [ NULL [ AS ] 'null string'
PostgreSQL 中进行数据导入和导出
m0_67265654的博客
12-05 5263
在 PostgreSQL 中，数据的导入和导出是数据库管理中不可或缺的操作。通过使用COPYCOPYpg_dump和pg_dumpall等工具，您可以高效地管理您的数据。掌握这些命令和技巧，将有助于提高数据管理的效率和准确性。希望本文对您了解 PostgreSQL 中的数据导入和导出有所帮助。无论是开发、维护还是数据分析，熟练运用这些工具都将使您的工作更加得心应手。如果您有更多的问题或需要深入了解，请参考 PostgreSQL 的官方文档或相关技术资源。
Postgresql 导出 csv
David_Ocean的专栏
08-20 1518
在postgresql中想要将查询到的结果导出为csv，采用 copy to的方法。 环境： postgersql9.6 plsql 核心代码： copy (select * from test_table) to 'C:/data.csv' (FORMAT 'csv', DELIMITER ',', HEADER true, NULL 'UNKOWN', ENCODING ...
greenplum在使用gpcopy数据迁移记录
weixin_41096226的博客
04-20 585
greenplum在使用gpcopy数据迁移时的记录，100T数据的迁移过程，双库提供服务不中断，迁移速度显示一开始大概在每小时5T左右，越往后越慢，最后在每小时1.8T，实际迁移花销大概在150小时。
全新Greenplum集群传输工具—GPCOPY 2.1.0正式发布
Greenplum中文社区
04-13 635
GPCOPY是新一代的支持Greenplum集群之间快速高效传输数据的工具。作为Greenplum集群数据传输的官方首选配套工具，GPCOPY除了具有高速稳定易用的特点外，还支持不同版本Greenplum集群之间的传输（当然支持同版本之间的传输）。GPCOPY支持从GP4.3.x到GP 5.x、GP5.x到GP6.x、甚至GP4.3.x到GP6.x的数据传输。它也同时支持同等规模集群和不等规模集群...
Greenplum数据库迁移工具gpcopy 202007版本详解及应用
最新发布
weixin_35906794的博客
08-07 847
数据迁移是IT运维中常见但至关重要的操作。随着数据量的不断增长以及对业务连续性的要求增加，高效且可靠的迁移工具成为保障企业数据安全和业务稳定运行的关键。gptransfer，作为PostgreSQL社区中的一个高效工具，后来演变为更加强大的gpcopy。它支持PostgreSQL数据库之间的高效数据迁移，并优化了迁移过程中的性能瓶颈，从而大幅缩短迁移所需时间，减少对现有服务的影响。本章节将概述gpcopy的基本功能和它在现代IT运维中的重要性，同时简要介绍它如何帮助数据库管理员优化迁移工作流。
GreenPlum数据加载方式总结
hmxz2nn的博客
09-20 3149
在GreenPlum中有以下几种方式来进行数据的加载，包括 通过insert命令来实现少量数据的导入； 通过copy命令来实现数据的导入导出； 通过建立外部表及gpfdist实现数据的导入； 通过gpload实现数据的导入导出； 下面将分别介绍这几种数据加载方式。 insert命令 通过简单的insert语句来实现，常用于少量数据的导入，当数据量较大时，会很耗时，从而不适合使用。 insert...
GP中外部表数据装载
learning_oracle的博客
01-08 5667
CREATE EXTERNAL TABLE ext_expenses  ( name text, date date,  amount float4, description text ) LOCATION ('gpfdist//etlhost:8081/*','gpfdist//etlhost:8082/*') FORMAT 'TEXT' (DELIMITER '|') ENCODING
【揭秘GP】全新 Greenplum 集群传输工具—GPCOPY 2.1.0 正式发布
MyySophia的博客
06-24 1009
导读：GPCOPY 是新一代的支持 Greenplum 集群之间快速高效传输数据的工具。作为 Greenplum 集群数据传输的官方首选配套工具，GPCOPY 除了具有高速稳定易用的特点外，还支持不同版本 Greenplum 集群之间的传输（当然支持同版本之间的传输）。GPCOPY 支持从 GP4.3.x 到 GP 5.x、GP5.x 到 GP6.x、甚至 GP4.3.x 到 GP6.x 的数据传输。它也同时支持同等规模集群和不等规模集群之间的传输。另外 GPCOPY 还支持数据的校验，支持事务，增加了数.
使用GreenPlum/postgres的copy命令导出/导入数据
不见其长，日有所长
02-27 1万+
1. postgres的copy命令 postgres的COPY命令可以快速的导出/导入数据到postgresql数据库中，支持常用的文件格式，如：txt、sql、csv、压缩文件、二进制格式等。特别适合批量导出和导入数据，速度比较快。 COPY TO把一个表的所有内容都拷贝到一个文件； COPY FROM从一个文件里拷贝数据到一个表里(把数据附加到表中已经存在的内容里)。 注意COPY只能用于...
GP基本命令
热门推荐
DataFlow范式
02-07 1万+
su - gpadmin gpstart #正常启动 gpstop #正常关闭 gpstop -M fast #快速关闭 gpstop –r #重启 gpstop –u #重新加载配置文件 登陆与退出Greenplum #正常登陆 psql gpdb psql -d gpdb -h gphostm -p 5432 -U gpadmin #使用utility方式 PGOPT
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MyySophia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值