数据分析平台对接阿里云大数据MaxCompute

最新推荐文章于 2021-12-10 09:12:23 发布

dingleilovewanping

最新推荐文章于 2021-12-10 09:12:23 发布

阅读量770

点赞数

分类专栏：数据仓库文章标签：大数据

本文链接：https://blog.youkuaiyun.com/programmerDingl/article/details/104939905

版权

本文介绍了四种将MySQL数据实时或定时同步到MaxCompute的方案，包括DataWorks的实时同步、定时批量同步、数据传输服务和DataHub中间件。此外，还探讨了MaxCompute之间的数据同步方法，如离线同步、CLONE TABLE和SQLTask配合Tunnel。文章最后提及MaxCompute空间管理的几个关键点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据分析平台对接MaxCompute

一．Mysql全量，增量实时同步到MaxCompute
方案一从MySQL直接实时同步到MaxCompute
在MaxCompute的DataWorks控制台的数据集成模块可以实现实时同步，该模块的实时同步功能是根据Mysql Binlog日志进行数据的同步，但是该模块在测试中，并未开放，可以向阿里云服务的人员申请功能为自己的账号开放，即可配置使用。
该实时同步作业的原理是基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。
操作步骤如下：
1.登录DataWorks控制台，单击相应工作空间后的进入数据开发。
2.鼠标悬停至，单击数据集成 > 实时同步。
3.也可以找到相应的业务流程，右键单击数据集成，选择新建> 实时同步。
4.在新建节点对话框中，输入节点名称，并选择目标文件夹，单击提交。
注意：节点名称的长度不能超过128个字符。
5.在实时同步节点的编辑页面，鼠标单击输入 > MySQL Binlog并拖拽至
编辑面板。
6.单击MySQL Binlog节点，填写节点配置对话框中的参数。
7.单击工具栏中的。

该方案的好处：1. 直接在DataWorks上进行实时同步作业的配置操作，实行起来比较简便
2.通过DataWorks直接操作MaxCompute，更好的兼容性
缺点：需要向阿里云管理员申请开通这个实时同步的灰度服务（目前还在测试中）

相关资料：
https://help.aliyun.com/document_detail/146662.html?spm=a2c4g.