彩虹桥——云数据库Greenplum版数据同步解决方案

云数据库Greenplum版(ApsaraDB for Greenplum)目前已经开始公测,大家对它的使用评价还是非常高的。但是也有看到朋友反映说在把业务数据同步到云数据库的过程中还有一些不那么灵活的地方。就在前几天,笔者经朋友推荐在阿里云市场找到了这款叫彩虹桥的软件,在用了一段时间后,想在此提一些自己的看法。言而总之在业务数据同步方面,笔者认为彩虹桥应该是greenplum目前最好用的配套辅助工具。

首先让我们来看看正在公测的云数据库Greenplum版。云数据库Greenplum版是基于Greenplum开源数据库项目的MPP大规模并行处理数据仓库产品,提供全面的SQL支持(包括符合SQL2008标准的OLAP分析函数),业界流行的BI软件都可以直接使用Greenplum进行在线业务分析。支持行存储和列存储混合模式,提高分析性能;同时提供数据压缩技术,降低存储成本。支持XML、GIS地理信息、模糊字符串等丰富的数据类型,为物联网、互联网、金融、政企等行业提供丰富的业务分析能力。

阿里云这次不仅将Greenplum云化,还添加了一些非常贴地气的特性,加强了产品的可用性。如今看来,从百TB到PB的OLAP仓库,Greenplum无疑是非常好的选择。但是相信大家在将数据库数据同步到Greenplum的时候,还是存在一些问题,这往往是由业务本身造成的,比如说:

业务数据的数据源类型多,数据散乱;无法对数据任务的基础信息进行控制,如字段,同步频率,抽取方式等,操作繁杂;无法对数据同步的执行情况进行实时的跟踪;不会编程的用户在同步数据的时候存在难以逾越的使用门槛 

现在我们来看看这款配套Greenplum使用的数据同步工具,到底是否好用?它又是如何解决数据同步问题的?带着这两个问题,我们来看看这款数据同步工具。进入彩虹桥以后,我们可以看到有三个功能模块:

  一、数据源管理--配置数据源基础信息,目前支持SQLServer,MySQL,PostgreSQL,Oracle 等数据库到云数据库Greenplum版的数据导入,基本上涵盖了市面上主流的数据源,可以对不同的数据源进行有效的管理。

2793e74b39095d6c66a8da75ea9766134780548f2793e74b39095d6c66a8da75ea9766134780548f

  二、任务配置--配置数据任务的基础信息,包括表名,字段,同步频率,抽取方式等

6a50738d84e35393e26a7c8b7c3efe61a186ecfc6a50738d84e35393e26a7c8b7c3efe61a186ecfc

  三、任务执行情况--查看任务的执行状态,执行时间等,并可以对失败任务进行重试等处理,一目了然。 

5aec23302b0a6798b7869250daece9530064e2015aec23302b0a6798b7869250daece9530064e201

笔者已经体验了两天,最直观的感受就是彩虹桥的配置操作非常灵活简单。简洁的可视化界面,使用了目前非常流行的拖拉拽的操作方式来实现数据的自动同步,即使是不会编程的普通业务人员也能进行完整的操作,而对于有编程基础的业内人员来说,则可以大大的节省时间和精力。以自动建表这个功能为例,用户无需关心复杂的表结构,系统实现自动在云数据库Greenplum版后台创建所需同步的目标表,省去了非常多不必要的麻烦,摆脱平日束缚,更多专注于核心业务。此外,所有操作都是在ECS上完成,目标数据双节点同步冗余,自动化定期备份,能够保护重要数据,可以说彩虹桥有相当不错的安全性。在用户体验上,也可以给到不错的评分。

  当然,对于工具是否好用的问题我们已经得出了肯定的答案,彩虹桥可以帮助大家通过简单的配置操作把业务数据同步到云数据库Greenplum版,助力在线业务分析。但它到底是否适合你的业务数据,只有自己去体验一下才能知道了。
Greenplum 集群之间同步数据方法及性能.....................................................................................1 1 概述.................................................................................................................................................2 2 相同集群相同数据库不同 SCHEMA 之间同步数据....................................................................2 2.1 查看原始表的大小行数与结构......................................................................................... 2 2.2 同步语句..............................................................................................................................2 2.3 查看 cpu 与内存的使用情况..............................................................................................3 2.3.1 查看 Master CPU 与内存使用情况.........................................................................3 2.3.2 查看数据节点的 CPU 使用情况..............................................................................3 2.3.3 查看数据节点的内存与磁盘使用情况..................................................................6 2.4 查看耗时与表的大小..........................................................................................................7 3 相同集群不同数据库之间同步数据.............................................................................................8 3.1 使用 pg_dum 方式同步数据..............................................................................................8 3.1.1 查看原始表的信息...................................................................................................8 3.1.2 把数据下载到磁盘...................................................................................................9 3.1.2.1 下载数据语句............................................................................................... 9 3.1.2.2 查看 Master 节点详细信息.........................................................................9 3.1.3 把数据导入到数据库中........................................................................................ 10 3.1.3.1 导入数据库语句......................................................................................... 10 3.1.3.2 查看 Master 节点的详细信息...................................................................11 3.1.3.3 查看数据节点的详细信息.........................................................................11 3.1.4 验证数据的准确性................................................................................................ 13 3.1.5 pg_dump 同步数据总结........................................................................................13 3.2 使用 dblink 同步数据........................................................................................................13 3.2.1 dblink 同步相同集群不同数据库的数据.............................................................13 3.2.1.1 同步语句......................................................................................................13 3.2.1.2 查看 Master 节点的详细信息...................................................................15 3.2.1.3 查看数据节点的详细信息.........................................................................15 3.2.2 验证数据的准确性................................................................................................ 17 3.2.3 dblink 使用总结......................................................................................................17 3.3 使用 gptransfer 同步数据.................................................................................................17 3.3.1 gptransfer 介绍.......................................................................................................17 3.3.2 gptransfer 命令参数介绍.......................................................................................18 3.3.3 查看集群及硬件信息............................................................................................ 19 3.3.4 同集群之间同步数据............................................................................................ 19 3.3.4.1 查看表的详细信息..................................................................................... 19 3.3.4.2 进行表数据同步......................................................................................... 19 3.3.4.3 查看硬件详细信息..................................................................................... 21 3.3.4.4 查看数据的准确性..................................................................................... 23 3.3.4.5 使用 gptransfer 总结...................................................................................23 3.3.5 不同集群之间同步数据........................................................................................ 24
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值