1、数据迁移方案
Vertica数据迁移到梧桐云原生分析型数据库一般采用2种方案
第一、采用JDBC连接方式将Vertica数据库抽取到HDFS,梧桐云原生分析型数据库建立外部表映射到导出的HDFS文件,最好将外部表数据插入到内表;
第二、采用Vertica提供的导出工具Parallelexport或export to csv,将vertica数据按照节点导出到HDFS,梧桐云原生分析型数据库建立外部表映射到导出的HDFS文件,最好将外部表数据插入到内表。
2种方案对比如下表所示:
| 性能指标 | JDBC | 专用导出工具 | 描述 |
|---|---|---|---|
| 数据导出效率 | 慢 | 高效 | JDBC方式多并发大概实际测试50-100W/秒,而专用导出工具800-100W/秒 |
| 系统影响 | 严重 | 中 | JDBC方式需要较多的数据库连接资源,影响系统运行 |
| 通用性 | 普及 | 专用接口 | 针对不同的HDFS jdbc方式都可以适配,Vertica专用导出工具需要定制 |
通过对比,Vertica数据迁移到梧桐云原生分析型数据库采用第二种方案。
1.1 Vertica数据导出HDFS
1、以票据方式登录Vertica
vsql -h -k <票据>
2、导出vert

最低0.47元/天 解锁文章
3183

被折叠的 条评论
为什么被折叠?



