Java增量与全量的案例,MaxCompute 实现增量数据推送(全量比对增量逻辑)

ODPS 2.0 支持了很多新的集合命令(专有云升级到3版本后陆续支持)，简化了日常工作中求集合操作的繁琐程度。增加的SQL语法包括：UNOIN ALL、UNION DISTINCT并集，INTERSECT ALL、INTERSECT

DISTINCT交集，EXCEPT ALL、EXCEPT DISTINCT补集。

语法格式如下：

select_statement UNION ALL select_statement;

select_statement UNION [DISTINCT] select_statement;

select_statement INTERSECT ALL select_statement;

select_statement INTERSECT [DISTINCT] select_statement;

select_statement EXCEPT ALL select_statement;

select_statement EXCEPT [DISTINCT] select_statement;

select_statement MINUS ALL select_statement;

select_statement MINUS [DISTINCT] select_statement;

用途：分别求两个数据集的并集、交集以及求第二个数据集在第一个数据集中的补集。

参数说明：

• UNION： 求两个数据集的并集，即将两个数据集合并成一个数据集。

• INTERSECT：求两个数据集的交集。即输出两个数据集均包含的记录。

• EXCEPT： 求第二个数据集在第一个数据集中的补集。即输出第一个数据集包含而第二个数据集不

包含的记录。

• MINUS： 等同于EXCEPT。

实际项目中有一个利用两日全量数据，比对出增量的需求(推送全量数据速度很慢，ADB／DRDS等产品数据量超过1亿，建议试用增量