Greenplum集群迁移--gptransfer的使用

在使用greenplum时，当想将旧的集群中的数据迁移到新的集群中，有多种方法。如使用gp_dump命令进行数据的备份、拷贝与恢复，但相比较来说，还是使用gptransfer工具更简单方便，且更高效。

总述

gptransfer迁移工具把Greenplum数据库元数据从一个Greenplum数据库传输到另一个Greenplum数据库，允许用户迁移整个数据库的内容或者选中的表到另一个数据库。源数据库和目标数据库可以在相同或者不同的集群中。gptransfer在所有Segment间并行地移动数据，它使用gpfdist数据装载工具以获得最高的传输率。

gptransfer会处理数据传输的设置和执行。参与其中的集群必须已经存在，在两个集群的所有主机之间都有网络访问和证书认证的ssh访问。

gptransfer接口包括传输一个或者更多完整数据库以及一个或者更多数据库表的选项。一次完整数据库传输包括数据库模式、表数据、索引、视图、角色、用户定义的函数以及资源队列。包括postgres.conf和pg_hba.conf在内的配置文件必须由管理员手工传输。用gppkg安装在数据库中的扩展（例如MADlib和编程语言扩展）必须由管理员安装在目标数据库中。

gptransfer会做什么

gptransfer会使用可写和可读外部表、Greenplum的gpfdist并行数据装载工具以及命名管道来从源数据库传输数据到目标数据库。源集群上的Segment从源数据库表中选择并且插入到一个可写外部表中。目标集群中的Segment从一个可读外部表选择并且插入到目标数据库表。可写和可读外部表由源集群的Segment主机上的命名管道支撑，并且每个命名管道都有一个gpfdist进程负责把该管道的输出供应给目标Segment上的可读外部表。

gptransfer通过以批次处理要被传输的数据库对象来编排其处理过程。对于每个要被传输的表，它会执行下列任务：
1.在源数据库中创建一个可写外部表
2.在目标数据库中创建一个可读外部表
3.在源集群中的Segment主机上创建命名管道和gpfdist进程
4.在源数据库中执行一个SELECT INTO语句以插入源数据到可写外部表中
5.在目标数据库中执行一个SELECT INTO语句把数据从可读外部表插入到目标表中
6.可以选择通过在源和目标中比较行计数或者行的MD5哈希来验证数据
7.清除外部表、命名管道和gpfdist进程

先决条件

1.gptransfer功能只能用于Greenplum数据库，包括Dell EMC DCA appliance。不支持用Pivotal HAWQ作为源或者目的。
2.源和目的Greenplum集群必须为4.2及以上版本。
3.至少一个Greenplum实例必须在其发布中包括有gptransfer工具。该工具被包括在4.2.8.1或更高版本以及4.3.2.0或更高版本的 Greenplum数据库中。如果源或目标都不包括gptransfer，用户必须升级其中一个集群以使用gptransfer。
4.可以从源数据库或者目标数据库的集群中运行gptransfer工具。