MaxCompute及相关组件
目录
MaxCompute及相关组件 1
一.对于MaxCompute的理解 1
- 官方定义 1
- 对MaxCompute理解 1
二. MaxCompute的阿里云相关组件介绍 2 - DataWorks 2
2.DataHub 5
3.Tunnel 6
4.Quick BI 7
三. 新闻舆情分析其他相关组件介绍 7 - 阿里云实时计算平台 7
四. MaxCompute的相关SDK的实现 8 - JAVA SDK 8
- Python SDK 9
五. MaxCompute的一般流程与新闻舆情流程对比 9
一.对于MaxCompute的理解
- 官方定义
(1)是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。MaxCompute为您提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全。
(2)MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB乃至PB)级别。
2.对MaxCompute理解
(1)数据仓库,类似于Hive,Hbase
(2)对于数据的导入导出,同步数据等功能比较强,也可以对数据做离线 的分析。
(3)可以通过java代码,声明j