Vertica数据迁移梧桐云原生分析型数据库技术解决方案

1、数据迁移方案

Vertica数据迁移到梧桐云原生分析型数据库一般采用2种方案
第一、采用JDBC连接方式将Vertica数据库抽取到HDFS,梧桐云原生分析型数据库建立外部表映射到导出的HDFS文件,最好将外部表数据插入到内表;
第二、采用Vertica提供的导出工具Parallelexport或export to csv,将vertica数据按照节点导出到HDFS,梧桐云原生分析型数据库建立外部表映射到导出的HDFS文件,最好将外部表数据插入到内表。
2种方案对比如下表所示:

性能指标 JDBC 专用导出工具 描述
数据导出效率 高效 JDBC方式多并发大概实际测试50-100W/秒,而专用导出工具800-100W/秒
系统影响 严重 JDBC方式需要较多的数据库连接资源,影响系统运行
通用性 普及 专用接口 针对不同的HDFS jdbc方式都可以适配,Vertica专用导出工具需要定制

通过对比,Vertica数据迁移到梧桐云原生分析型数据库采用第二种方案。

       1.1 Vertica数据导出HDFS

1、以票据方式登录Vertica
vsql -h -k <票据>
2、导出vert

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值