在公司部署的hive环境中,按照DB2 的思维使用union all 来连接两个查询,并同时去重,但是使用UNION ALL之后就发现调度的时候出现 ParseException line 5:0 missing ALL at 'select' near ''的错误!!
后来查询了一下官方的文档,才发现Hive在1.2.0之前的版本只支持union all,在1.2.0之后的版本才支持union.
官方的文档:官方文档
才明白部署的版本过低了,但是为了解决当前的问题,只能另辟蹊径了。
一般的使用如下所示:
使用HIVE进行union操作,
select col1,col2,col3 ,col4 ,col5 ,col6 from table1
union
select col1,col2,col3 ,col4 ,col5 ,col6 from table2
在hive 1.2.0提示缺少all关键字,但是你又想取查询并集并去重,想到了“加外套的用法”
解决办法:
select distinct t.* from (select col1,col2,col3 ,col4 ,col5 ,col6 from table1
union all
select col1,col2,col3 ,col4 ,col5 ,col6 from table2 ) as t
总结一下: 符合语法逻辑,使用union all 外面在加一层即可