初学MaxCompute

阿里云-MaxComputer学习+踩坑 第001天 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、DataWorks是什么?二、MaxComputer是什么?1.产品介绍2.表分区规范3.官方分区文档总结 前言 由于公司(一家蒸蒸日上的小跨境电商公司)业务快速增长,之前的数仓一直在MySQL+TIDB中构建,目前业务支撑遇到瓶颈,公司准备上马数据中台,领导一拍脑袋就是要自建平台,服务器都买了十几台(要在机房吃灰了),最后考虑再三,还是引入现有产品,接触了几家云平台厂商,最后确定使用阿里云的数据平台DataWorks 了 阅读详情

MaxComputer是阿里云提供的一种全新的大数据计算服务,其具备更高效的计算及存储能力,本人的理解就是一个类似于HBase,Hive的云上的数据仓库。
参考官方文档系列:

https://yq.aliyun.com/articles/85595?spm=a2c4e.11153940.blogcont78108.17.46c53af60mplZf

一 什么是MaxCompute
大数据计算服务(MaxCompute,原名ODPS open data processing service)是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。MaxCompute为您提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全。

同时,DataWorks和MaxCompute关系紧密,DataWorks为MaxCompute提供了一站式的数据同步、任务开发、数据工作流开发、数据管理和数据运维等功能,详情请参见DataWorks(原大数据开发套件)。

MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB乃至PB)级别。

在分析海量数据场景下,由于单台服务器的处理能力限制,数据分析者通常采用分布式计算模式。但分布式的计算模型对数据分析人员提出了较高的要求,且不易维护。使用分布式模型,数据分析人员不仅需要了解业务需求,同时还需要熟悉底层计算模型。MaxCompute的目的是为您提供一种便捷的分析处理海量数据的手段,您可以不必关心分布式计算细节,便可达到分析大数据的目的。

MaxCompute学习路径
您可以通过MaxCompute学习路径快速了解MaxCompute的相关概念、基础操作、进阶操作等。

产品优势
大规模计算存储
MaxCompute适用于100GB以上规模的存储及计算需求,最大可达EB级别。

多种计算模型
MaxCompute支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法。

强数据安全
MaxCompute已稳定支撑阿里全部离线分析业务7年以上,提供多层沙箱防护及监控。

低成本
与企业自建专有云相比,MaxCompute的计算存储更高效,可以降低20%-30%的采购成本。

功能概述
数据通道
支持批量、历史数据通道

TUNNEL是MaxCompute为您提供的数据传输服务,提供高并发的离线数据上传下载服务。支持每天TB/PB级别的数据导入导出,特别适合于全量数据或历史数据的批量导入。Tunnel 为您提供Java编程接口,并且在MaxCompute的客户端工具中,有对应的命令实现本地文件与服务数据的互通。

实时、增量数据通道

针对实时数据上传的场景,MaxCompute提供了延迟低、使用方便的DataHub服务,特别适用于增量数据的导入。DataHub还支持多种数据传输插件,例如Logstash、Flume、Fluentd、Sqoop等,同时支持日志服务Log Service中的投递日志到MaxCompute,进而使用DataWorks进行日志分析和挖掘。

计算及分析任务MaxCompute支持多种计算模型,详情如下。
SQL:MaxCompute只能以表的形式存储数据,并对外提供了SQL查询功能。您可以将MaxCompute作为传统的数据库软件操作,但其却能处理TB、PB级别的海量数据。
说明
MaxCompute SQL不支持事务、索引及Update/Delete等操作。
MaxCompute的SQL语法与Oracle、MySQL有一定差别,您无法将其他数据库中的SQL语句无缝迁移到MaxCompute上来。详情请参见与其他SQL语法的差异。
在使用方式上,MaxCompute SQL最快可以在分钟、乃至秒级别完成查询,无法在毫秒级别返回结果。
MaxCompute SQL的优点是学习成本低,您不需要了解复杂的分布式计算概念。如果您具备数据库操作经验,便可快速熟悉MaxCompute SQL的使用。
UDF:即用户自定义函数。
MaxCompute提供了很多内建函数来满足您的计算需求,同时您还可以通过创建自定义函数来满足不同的计算需求。

MapReduce:MaxCompute MapReduce是MaxCompute提供的Java MapReduce编程模型,它可以简化开发流程,更为高效。您若使用MaxCompute MapReduce,需要对分布式计算概念有基本了解,并有相对应的编程经验。MaxCompute MapReduce为您提供Java编程接口。
Graph:MaxCompute提供的Graph功能是一套面向迭代的图计算处理框架。图计算作业使用图进行建模,图由点 (Vertex)和边(Edge)组成,点和边包含权值(Value)。通过迭代对图进行编辑、演化,最终求解出结果,典型应用:PageRank、单源最短距离算法 、K-均值聚类算法等。
SDK
SDK是MaxCompute提供给开发者的工具包,详情请参见SDK介绍。

安全
MaxCompute提供了功能强大的安全服务,为您的数据安全提供保护,详情请参见安全指南。

二 发展历程
从2009年9月阿里云成立,愿景就是做运算/分享数据的第一平台。2010年4月,伴随阿里金融的贷款业务上线,ODPS正式投入生产运行。2012 年建立统一数据平台,2013年具备超大规模海量数据处理能力,2014~2015年大数据平台开始日趋成熟,2016年MaxCompute2.0诞生,成立之初的愿景正在逐步实现。

关键性里程碑
2010.04 ODPS正式投入生产运行,阿里金融的贷款业务上线稳定运行。
2013.05 ODPS公测。
2013.07 ODPS正式提供商业化服务,单集群规模5K台服务器多级群能力。
2016.09 ODPS正式更名为MaxCompute,并推出MaxCompute2.0,实现高性能,新功能,富生态。

MaxCompute 近实时增全量处理一体化新架构和使用场景介绍 随着当前数据处理业务场景日趋复杂,对于大数据处理平台基础架构的能力要求也越来越高,既要求数据湖的大存储能力,也要求具备海量数据高效批处理能力,同时还可能对延时敏感的近实时链路有强需求,本文主要介绍基于 MaxCompute 的离线近实时一体化新架构如何来支持这些综合的业务场景,提供近实时增全量一体的数据存储和计算(Transaction Table2.0)解决方案。 阅读详情

相关推荐

MaxCompute—阿里云原生大数据计算机服务——SQL概述与服务支持

MaxCompute SQL是MaxCompute中用于数据查询和分析的SQL语言,其语法类似于标准SQL,但在标准语法ANSI SQL92的基础上进行了一些扩展和限制以更好地服务于大规模数据仓库的场景。本文为您介绍MaxCompute SQL使用场景、使用向导及支持的工具信息,为后续使用MaxCompute SQL提供帮助。MaxCompute SQL提供TOUCH操作用来修改表的,可将表的修改为当前时间。此操作会改变表的的值,MaxCompute会认为表的数据有变动,生命周期的计算会重新开始。

goldfish8848的博客 2515

阿里云MaxComputer SQL学习之DDL

???? 今天我们介绍一下大数据引擎MaxComputer的一些特点,以及MaxComputer SQL的一些特点。有对hive sql 感兴趣的同学可以查看下面的内容????: 第一篇: Hadoop之Hive数据的导入与导出(DML). 第二篇: Hadoop之Hive查询语句. 第三篇:Hadoop之Hive的7种Join语句. 第四篇: Hadoop之Hive的排序. 第五篇: Hadoop之Hive的分区表. 第六篇: Hadoop之Hive的分桶表. ????MaxComputer是企业级的

柳小葱的博客 7487

ILI9488 TFT屏驱动与触摸协同开发指南

TFT-LCD显示模块是嵌入式人机交互系统的核心外设,其工作原理依赖于专用显示控制器(如ILI9488)对GRAM显存的精确读写,并通过SPI等串行总线接收指令与图像数据。理解RGB接口时序、寄存器初始化流程及DC/CS信号控制逻辑,是实现稳定显示的基础技术前提;而四线电阻式触摸功能则需配合XPT2046类ADC控制器,通过独立SPI或模拟时序完成坐标采集。该方案兼顾低功耗、高集成与工程可移植性,广泛应用于工业HMI、仪器仪表及STM32F407等MCU平台的教学与产品开发。本文围绕3.5英寸320×480

weixin_33814090的博客 149

MaxCompute基本概念和数据类型

MaxCompute基本概念 MaxCompute的核心概念主要包括:项目、表、分区、生命周期、资源、函数、任务、任务实例(实例)、ACID语义等。MaxComopute常用术语表参见:MaxCompute术语表。 项目(Project) 项目(Project)是MaxCompute的基本组织单元,它类似于传统数据库的Database或Schema的概念,是进行多用户隔离和访问控制的主要边界...

Blossom 1万+

数分实战(01):Global_Superstore数据集解析与商业洞察

本文以Global_Superstore零售数据集为例,手把手指导数据分析实战全流程。从数据清洗、探索性分析到深度商业洞察,详细解析了如何通过Python处理缺失值与异常值,进行销售利润分析、客户细分与地理分析,并探讨了折扣与利润的微妙关系。文章旨在帮助读者建立数据分析思维框架,从数据中挖掘可指导实际业务决策的核心洞察。

weixin_28487433的博客 345

5分钟搞懂双目相机标定:从棋盘格到3D点云的完整流程(附Python代码)

本文详细介绍了双目相机标定的完整流程,从棋盘格准备到3D点云生成,涵盖单目标定、双目标定、立体校正、视差计算等关键步骤。通过Python代码示例,帮助读者快速掌握双目立体视觉技术,实现高精度的3D重建。特别适合机器人导航、工业检测等应用场景。

weixin_29100399的博客 592

阿里云产品ODPS的简介和使用方法

众所周知,原始的数据仓库存在着“存不了,装不下,算不动”的三大严重问题,为了解决越来越多的数据量和越来越繁杂的数据关系,大数据应运而生。在大数据云时代来临之际,掌握了完美的数据处理工具,譬如hadoop,oracle,ogg这些必将会给你带来不错的收益,而今天我们着重讲一下阿里的两大产品dataX和ODPS。 *******************************************...

神芷迦蓝寺 1万+

【UE5+Quest3】手部模型替换---3-0

这次手部模型替换遇到了一些小问题,不过好在是bug一个个都处理掉了,我会分开几个章节去整理。详细的视频教程可以参考油管大佬的视频手部素材放到文章末尾,自行下载使用。(仅用作学习研究,不可用于商用)

qbbmnnnnnn的博客 947

MaxCompute常用语句汇总(更新ing)

摘要: 收集一些MaxCompute常用命令。点此查看原文:click.aliyun.com/m/41645/大数据计算服务(MaxCompute,原名ODPS,产品地址:www.aliyun.com/product/odp…)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有...

weixin_34361881的博客 228

Gamit10.71添加新的天线类型

添加新的天线类型需要涉及到四个文件:antmod.dat,rcvant.dat,guess_rcvant.dat,hi.dat。 注意:格式要一致!!! 举例说明,我要添加一个JCA229的天线(带JCAD天线罩),对应接收机使用的是南方的South Net-S9。

Penny的博客 2714

React 源码解析 | Reconcile协调过程

上篇讲了React的工作流程,这篇详细的讲一下render过程中的beginWork函数,也就是深度优先创建Fiber树中"递"的过程。beginWork函数传入当前已经创建好的Fiber节点,返回创建/复用的第一个子FIber节点,也就是wip.child在renderRoot中,在开始创建整棵FIber树之前,会先调用prepareRefreshStack创建/复用一个新的HostRootFiber。

weixin_40710412的博客 1220

[使用初学者]如何快速玩转阿里云大数据计算服务MaxCompute

背景: 针对即将要开通MaxCompute或者已经开通MaxCompute但是还没有梳理清楚其中的概念,也无从下手如何快速入门MaxCompute?近期在这一方面上,咨询的同学也越来越多,总体在学习路径上也有一些资料可以分享给大家,更多的概念、产品定义可以详见官网文档。 关于如何开通: step1:登录管控台 >> step2:开通...

weixin_34292959的博客 363

复现论文《大规模风电场电磁暂态高效建模仿真方法》

本文提出了一种针对大规模风电场电磁暂态(EMT)仿真的高效建模方法。通过三种关键技术实现仿真加速:(1)永磁直驱风电机组一体化等效建模,采用节点导纳矩阵降维将25节点机组简化为4端子电路,仿真速度提升1-3个数量级;(2)基于戴维南/诺顿等效和OpenMP并行计算的风电场整体建模,通过串并联叠加实现节点收缩,30台机组仿真加速近万倍;(3)受控源映射解耦方法提高故障仿真灵活性。复现代码展示了核心算法实现,包括导纳矩阵Schur补降维、多进程并行计算框架以及受控源解耦方法。

huanghm88的专栏 280

ODPS MapReduce

1、ODPS MapReduce入门 http://beader.me/2014/05/05/odps-mapreduce/?utm_source=tuicool&utm_medium=referral 2、阿里官网介绍 http://help.aliyun.com/document_detail/odps/MapReduce/summary/mr.html

739

python基础知识补充

1. jupyter notebook 解释 2. ipython 魔法命令 3. latex in Markdown cell(在markdown里面编写数学公式) 4. jupyter notebook功能扩展:安装Nbextension 5. python解释与运行 6. 垃圾回收(计数机制与分代回收机制) 7. 名字空间与局部作用域L和全局作用域G 8. 小整数缓存区与字符驻留 9. Statement &Expression 10. 调试

weixin_43178406的博客 1万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

ODPS的Java连接(2)

package org.apache.dolphinscheduler.common.utils; import com.aliyun.odps.*; import com.aliyun.odps.account.Account; import com.aliyun.odps.account.AliyunAccount; import com.aliyun.odps.data.Record; import com.aliyun.odps.task.SQLTask; import java.util.A

吃素的哈士奇de博客 2029

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

MaxCompute基础开发环境搭建

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的EB级数据仓库解决方案。这篇文章来对MaxCompute的基础开发环境进行搭建,来为开发提供基础。 开通MaxCompute MaxCompute的开通需要具有阿里云的账号,账号的申请和MaxCompute的开通这里参见官方文档:开通MaxCompute文档。开通完成后可以在自己的控制台中找到MaxCompute已经创建...

Blossom 3065

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

阿里云maxcompute和PAI使用参考

1、pyodps 文档:https://pyodps.readthedocs.io/zh_CN/latest/ github文档:https://github.com/AlibabaCloudDocs/odps/tree/master/cn.zh-CN/%E7%94%A8%E6%88%B7%E6%8C%87%E5%8D%97/PyODPS https://help.aliyun.com/do...

serenysdfg的博客 834

maxcompute中project explorer查看表

maxcompute入门使用,可参考:https://blog.youkuaiyun.com/maoreyou/article/details/80432812 view---project explorer: 点开之后:就能看到explorer能看到的3个板块,其中table是第一个 ...

山中有石为玉 718

maxcompute操作_一文快速了解MaxCompute

很多刚初次接触MaxCompute的用户,面对繁多的产品文档内容以及社区文章,往往很难快速、全面了解MaxCompute产品全貌。同时,很多拥有大数据开发经验的开发者,也希望能够结合自身的背景知识,将MaxCompute产品能力与开源项目、商业软件之间建立某种关联和映射,以快速寻找或判断MaxCompute是否满足自身的需要,并结合相关经验更轻松地学习和使用产品。本文将站在一个更宏观的视角来分主题...

weixin_30789475的博客 974

利用MaxCompute部署股票交易策略

Apsara Clouder大数据专项技能认证:利用MaxCompute部署股票交易策略技术已经成为金融业的资产并在交易中体现了主导能力。通过本课程用户将学会股票的一些基本概念、常见的交易策略以及现实中的股票交易场景,并且还能学会运用阿里云MaxCompute构建股票交易策略模型。关于利用MaxCompute部署股票交易策略的详细内容:Apsara Clouder大数据专项技能认证:利用MaxCo...

lsj960922的博客 537

【亲测免费】 阿里云ODPS SQL手册1

阿里云ODPS SQL手册1 【下载地址】阿里云ODPSSQL手册1分享 本仓库提供了一份名为“阿里云ODPS SQL手册1”的资源文件下载。该手册详细介绍了阿里云ODPS SQL的相关知识和使用方法,适合所有对阿里云ODPS SQL感兴趣的用户下载学习 ...

gitblog_06606的博客 731

MaxCompute_UDF_开发指南

背景及目的 本文简单地介绍了一下如何新建工程,添加代码,打包,上传资源包和注册方法,对初次接触的用户提供帮助。另外,详解介绍通过UDF来满足不同的计算需求。 UDF 开发流程如下: UDF概述 UDF全称为User Defined Function,即用户自定义函数。MaxCompute提供很多内建函数来满足您的计算需求,同时您还可以通过创建自定义函数来...

weixin_34064653的博客 3559

学习MaxCompute

学习MaxCompute什么是MaxCompute购买客户端- DataWorks- 命令行- idea 什么是MaxCompute 托关于阿里云上的EB级数据仓库类似于hive,不需要自己运维。使用它只需要一个谷歌浏览器访问阿里云,可以在浏览器的界面写sql进行数据分析 购买 由于是存储在云端所以使用肯定要收取存储和计算费用,选择按量付费,购买的时候都是0元 开发者版:提供一部分免费。超出的部分...

qq_43227570的博客 525
上一篇: Flink通过抽取Mysql增量数据到Hbase,期间做新旧数据对比统计
下一篇: 阿里云maxcompute dataHubSourceFunction和dataHubSinkFuncation scala版本
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值