理论与实践：如何从Hadoop迁移到MaxCompute

直播视频回看，传送门！
分享资料下载，传送门！
更多精彩内容传送门：大数据计算技术共享计划 — MaxCompute技术公开课第二季 

 

以下内容根据演讲视频以及PPT整理而成。

通常而言，将Hadoop迁移到MaxCompute会分为两个主要部分：数据迁移和任务迁移。首先，对于数据迁移而言，可以通过Datax、数据集成以及DataxOnHadoop这几种工具实现。Datax是阿里云开源的一款数据传输工具；而数据集成的底层就是由Datax实现的。如果在数据迁移的过程中要使用Datax，那么需要用户来自定义调度，这对于gateway资源具有一定的要求。Datax在做数据传输的时候需要有一个管道机，通常就称之为gateway，数据的传输都是通过这个gateway来实现的，因此在使用Datax的时候对于gateway的资源是具有一定的要求的。此外，数据集成是在DataWorks里面集成化的数据传输工具。如果想要应用数据集成，那么其调度就是在DataWorks里面完成的，设置完数据周期等一些属性，DataWorks就可以自动实现任务的调度。如果使用数据集成，在网络允许的情况下，可以使用DataWorks的gatew