MaxCompute
关注
分享
扫一扫
Ethan_pika
一个爱养花的程序员
展开
-
MaxCompute SQL Script执行时脚本未绑定项目问题解决
问题描述打开之前创建的MaxCompute Studio创建的项目，执行其中的SQL Script脚本文件（.osql）时，出现如下的异常信息：问题解决该问题是由于执行该sql script时，sql脚本文件没有绑定到maxcompute project。这里根据提示，可以看到出现该问题的SQL Script文件的右上角有如下显示：点击上面的右上角的“Set target project”，可以选择该Script脚本文件可以绑定的MaxCompute Project：修改完.原创 2020-06-29 14:47:27 · 1002 阅读 · 1 评论 -
MaxCompute JDBC使用说明和实例
MaxCompute JDBCMaxCompute JDBC驱动是MaxCompute提供的Java数据库连接（Java Database Connectivity）接口，可以通过标准的JDBC编程基于MaxCompute执行海量数据的分布式计算查询。MaxCompute JDBC驱动还可以用于连接MaxCompute和支持JDBC的工具。使用说明文档见：MaxCompute JDBC概述。...原创 2020-04-27 20:22:00 · 3901 阅读 · 0 评论 -
MaxCompute Java SDK介绍
MaxCompute Java SDK介绍MaxCompute提供了Java SDK，可以对实例、资源、表、函数等几个方面进行操作。使用SDK调用MaxCompute产生的计算、存储等费用与直接使用MaxCompute产生的费用一致。较为常用的MaxCompute核心接口详情请参见SDK Java Doc。使用Maven管理配置新SDK的版本，Maven的配置示例如下：<dep...原创 2020-04-27 20:04:56 · 1428 阅读 · 0 评论 -
MaxCompute使用LogView查看Job信息
MaxCompute LogViewLogview是MaxCompute Job提交后查看和Debug任务的工具。通过Logview可看到一个Job的如下内容：任务的运行状态。 任务的运行结果。 任务的细节和每个步骤的进度。查看Job logview的方法odpscmd客户端命令在使用odpscmd客户端执行sql命令时，Job提交到MaxCompute后，会生成Logvie...原创 2020-04-27 11:39:31 · 1742 阅读 · 0 评论 -
MaxCompute用量明细账单分析最佳实践
MaxCompute用量明细账单分析最佳实践MaxCompute中计算资源的计费方式分为包年包月和按量计费两种，产品每天会以Project为维度进行计费（账单会在第二天上午6点前生成）。用量详情账单字段说明查看自己的MaxCompute用量详情，可以到控制台中如下菜单进行查询并导出到本地：账单明细字段如下：项目编号：当前账号或子账号对应的主账号的MaxCompute Pro...原创 2020-04-25 21:52:39 · 832 阅读 · 0 评论 -
MaxCompute Studio开发Java UDF最佳实践
MaxCompute Studio开发Java程序在使用MaxCompute Studio开发工具之前，需要首先完成IDEA中MaxCompute Studio开发环境的搭建，具体见：MaxCompute基础开发环境搭建。MaxCompute Studio上Java程序开发流程如下：创建MaxCompute Java Module。 开发Java程序。可以开发不同的Java程序： 开...原创 2020-04-25 11:44:51 · 1743 阅读 · 0 评论 -
MaxCompute分析IP来源最佳实践
MaxCompute分析IP来源最佳实践本文章主要介绍使用MaxCompute分析IP（示例数据）来源，主要包括四个步骤：IP地址库数据下载 表创建与数据上传 编写Java UDF函数 使用UDF编写SQL这里和官方文档的不同在于，使用了Java来实现MaxCompute的UDF，并且使用MaxCompute Studio来进行函数资源的上传和创建（MaxCompute Studi...原创 2020-04-25 10:44:41 · 527 阅读 · 0 评论 -
MaxCompute SQL数据开发最佳实践
MaxCompute SQL最佳实践MaxCompute SQL最佳实践是在开发文档的内容基础上，提供的一些实践性的使用指南，具体的内容见：MaxCompute SQL最佳实践文档，这里选出了一些重要且常用的内容进行说明。内容包括：快速掌握SQL写法 分组取出每组数据的前N条 SQL实现多行数据转一条 MaxCompute SQL中的JOIN ON条件快速掌握SQL写法数据集准...原创 2020-04-22 17:55:05 · 975 阅读 · 0 评论 -
MaxCompute SQL大数据公开数据集实战
MaxCompute公开数据集简介目前阿里云MaxCompute已经免费向全部用户开放了多种公用数据集，包括：股票价格数据 房产信息 影视及其票房数据 TPC-DS数据集这些公开数据现已免费开放给用户，并已经完成了数据分析前序较复杂的数据获取、上传、清洗等过程，可以直接进入数据分析阶段。因此可以直接使用这些数据集来进行一定的MaxCompute的学习以及数据的分析过程。具体的Max...原创 2020-04-20 11:17:13 · 1477 阅读 · 0 评论 -
MaxCompute SQL中select语句使用详情
SELECT语法介绍本文介绍MaxCompute SELECT语法格式及使用SELECT语法执行嵌套查询、排序操作、分组查询等操作的注意事项。在进行操作之前构建操作示例表sale_detail以及insert测试数据：---------------------------------------数据表和数据准备---------------------------------------...原创 2020-04-18 16:42:13 · 3422 阅读 · 0 评论 -
MaxCompute SQL中insert语句使用详情
MaxCompute insert语句使用本文介绍使用INSERT OVERWRITE和INSERT INTO两种命令更新表数据，主要内容包括：insert into table ... values ...语句 insert into/overwrite ... select ...语句 Insert多路输出（MULTI INSERT） 输出到动态分区（DYNAMIC PARTIT...原创 2020-04-17 22:24:00 · 8303 阅读 · 0 评论 -
MaxCompute SQL概述及DDL常用命令
MaxCompute SQL概述MaxCompute SQL适用于海量数据（GB、TB、EB级别）、离线批量计算的场合。MaxCompute作业提交后会有几十秒到数分钟不等的排队调度，所以适合处理运行批作业：一次作业批量处理海量数据，不适合直接对接需要每秒处理几千至数万笔事务的前台业务系统。MaxCompute SQL采用的是类似于SQL的语法。它的语法是标准语法ANSI SQL92的一个...原创 2020-04-18 16:43:47 · 4193 阅读 · 0 评论 -
MaxCompute基本概念和数据类型
MaxCompute基本概念MaxCompute的核心概念主要包括：项目、表、分区、生命周期、资源、函数、任务、任务实例（实例）、ACID语义等。MaxComopute常用术语表参见：MaxCompute术语表。项目（Project）项目（Project）是MaxCompute的基本组织单元，它类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界...原创 2020-04-17 11:17:36 · 12685 阅读 · 0 评论 -
MaxCompute数据开发快速入门
MaxCompute数据开发快速入门该快速入门演示一个使用MaxCompute对银行贷款购房人员进行分析的完整过程。包含如下步骤：创建并查看表 导入数据 运行SQL并导出数据 编写MapReduce在进行该部分内容前，需要完成：MaxCompute基础开发环境搭建。命令的运行可以选用odpscmd客户端，也可以使用IDEA MaxCompute Studio（该工具的使用见：Ma...原创 2020-04-16 21:56:35 · 1708 阅读 · 0 评论 -
MaxCompute客户端常用命令
MaxCompute常用命令原创 2020-04-16 11:52:07 · 3650 阅读 · 0 评论 -
MaxCompute Studio数据开发工具的使用
MaxCompute Studio的使用与数据开发原创 2020-04-16 15:00:36 · 1431 阅读 · 0 评论 -
MaxCompute基础开发环境搭建
大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的EB级数据仓库解决方案。这篇文章来对MaxCompute的基础开发环境进行搭建，来为开发提供基础。开通MaxComputeMaxCompute的开通需要具有阿里云的账号，账号的申请和MaxCompute的开通这里参见官方文档：开通MaxCompute文档。开通完成后可以在自己的控制台中找到MaxCompute已经创建...原创 2020-04-15 17:39:05 · 2662 阅读 · 0 评论 -
MaxCompute导入数据
使用tunnel命令导入数据的官方文档：https://help.aliyun.com/document_detail/27809.html?spm=a2c4g.11186623.6.590.709b5791JljgYi具体过程如下：odps@ YITIAN_BJ_MC>tunnel upload /Users/yitian/Documents/MaxCompute/documen...原创 2019-11-03 12:04:54 · 1271 阅读 · 0 评论 -
MaxCompute常用操作命令
表操作1. 查看表的详细信息：odps@ YITIAN_BJ_MC>desc sale_detail;+------------------------------------------------------------------------------------+| Owner: ALIYUN$yitian.z@foxmail.com | Project: yiti...原创 2019-11-04 19:43:54 · 6433 阅读 · 0 评论 -
Ali MaxCompute UDF的创建、调试和发布
准备工作创建MaxCompute Java Module：创建MaxCompute Java Module创建自己的UDF参考官方文档，在上面新创建的MaxCompute Java Module中，创建一个MaxCompute Java文件，实现如下的实例代码：package my.udf;import com.aliyun.odps.udf.UDF;public cla...原创 2019-05-30 21:33:11 · 788 阅读 · 0 评论