conquer的博客

公司服务器磁盘空间有限，只能存近15天日志，但是有时需要查看几个月前的日志，需要将服务器日志定时备份到某个地方，需要查询的时候有地方可查。

背景：业务场景中有个任务每天运行一次，在第二个月的时候，需要把上一个月的某个任务每天重跑一次。正常情况下，需要在第二个月，手动补数据，选择补数据时间为上个月第一天到最后一天，重跑即可。由于不想每个月都手动重跑，查了下ODPS文档，觉得for-each这个功能应该是能满足需求。具体实现过程：1、定义一个日期表，包含月份和日期CREATE TABLE IF NOT EXISTS dim_everyday( month STRING COMMENT '月份，yyyyMM',

ODPS分组排序与普通SQL语法类似，可参考以下SQLSELECT * FROM ( SELECT err_code , chan , desc_cn , ROW_NUMBER() OVER (PARTITION BY err_code,chan ORDER BY err_code) AS rn FROM dim_yp_sms_error_code_format) tmpWHERE rn =1;根据err_code和chan分组排序，然后取分组排序后每组第一条数据。my

在ODPS上补数据的时候，补按周运行或按月运行的任务的数据的时候，会经常出现“周月实例空跑周期”，例如：某个任务指定每月4号运行一次于是设置补数据时间为2020-05-04查看补数据结果的时候，会发现状态为“周月实例空跑周期”正确做法是补数据的时候选择指定时间的前一天，例子中的任务应该选“2020-05-03”才可以正常补数据。...

ODPS 中有的列有数据是逗号分隔的数据，需要转化为多行数据，方便与其他表关联查询。效果如下：原表err_code desc_cn chans ST001 签名匹配失败 -1,-2,-3 结果表err_code desc_cn chan ST001 签名匹配失败 -1 ST001 签名匹配失败 -2 ST001 签名匹配失败 -3 可以借助ODPS mapjoin和自增表实现该功能。实现主要参考.

MaxCompute SQL不支持在普通JOIN的ON条件中使用不等值表达式、OR逻辑等复杂的JOIN条件，但是在MAPJOIN中可以进行上述操作。SELECT /* + MAPJOIN(b) */ a.err_code ,a.desc_cn ,SUBSTRING_INDEX(SUBSTRING_INDEX(a.chans,',',b.Au...