阿里云的MaxCompute数加(原ODPS)用的怎样?

本文介绍了阿里云自主研发的飞天分布式系统,该系统采用C++开发,支持大规模集群调度及分布式存储。此外,还详细解释了其上的ODPS服务,提供SQL、MapReduce等编程接口,以及其在安全性方面的重要设计。

最底层是Linux+PC Server,上层软件是飞天,飞天是阿里云09年开始开发的一款分布式系统软件,主要提供分布式存储和分布式计算的调度、编程框架。开发语言是C++, 2013年该系统在生产环境支持调度5000台机器的集群。

飞天比较有意思的是模块的名字,都是从中国传统的神话中选择,比如分布式存储模块叫盘古,调度叫伏羲。

站在hadoop的角度看,飞天提供的功能和hadoop是类似的,在yarn之前,hadoop主要的编程模型是MapReduce,飞天的编程模型是一个有向无环图,而且除了支持批处理任务以外还支持常驻的Service。实现的细节上当然完全不同,首先实现的编程语言飞天就选择了C++。其他像安全、运维体系都有很大区别。

ODPS是在飞天之上提供的一套服务,功能包括SQL,基于java的Mapreduce编程框架,图计算编程模型,一系列机器学习算法的实现等等。所有的功能是以RESTful API的形式对外提供,所以从系统边界上说,这层API隔离了ODPS平台和用户的系统,和hadoop的区别也很明显。ODPS设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在ODPS的设计和实现中具有最高的优先级。

对于未来交通行业产生的影响不具备足够的知识回答,我想大概可以从大规模数据处理能力对交通运输行业的影响这个角度考虑。在加上ODPS方便了大规模数据处理能力获取这个角度。

利益相关:阿里员工,前ODPS团队成员

阿里云据计算服务MaxComputeODPS)是一种云端大据处理和分析服务,它提供了一个高效、安全和稳定的SQL引擎,用于处理和分析大规模据。 MaxCompute的SQL使用指南如下: 1. 创建表:使用CREATE TABLE语句创建表,指定表的名称、列名和据类型。 2. 插入据:使用INSERT INTO语句将据插入到表中,可以一次插入多行据。 3. 查询据:使用SELECT语句从表中查询据,可以使用条件语句、排序和聚合函进行筛选和处理。 4. 更新据:使用UPDATE语句更新表中的据,可以根据条件对指定的行进行更新。 5. 删除据:使用DELETE语句删除表中的据,可以根据条件删除指定的行。 6. 表连接:使用JOIN语句将多个表连接在一起,根据指定的关联条件进行据的查询和分析。 7. 据转换:通过使用转换函,将据在不同的据类型之间进行转换,如字符串转换为日期、字转换为字符串等。 8. 据分组:使用GROUP BY语句将据按照指定的列进行分组,然后对每个分组进行聚合操作,如计算平均值、求和等。 9. 据排序:通过使用ORDER BY语句对查询结果按照指定的列进行排序,可以按照升序或降序排列。 10. 据统计:使用聚合函,如COUNT、SUM、AVG等对查询结果进行统计分析,可以获取总、求和、平均值等据。 11. 据分区:使用PARTITION BY子句将表据划分成多个分区,可以快查询和分析的速度。 总之,MaxCompute提供了强大的SQL功能,可以方便地对大规模据进行处理、分析和洞察,帮助用户更好地进行据驱动的决策和业务创新。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值