hive中数据去重，union，交集和并集等操作语句总结

1. insert overwrite table store  
2.   select t.p_key,t.sort_word from   
3.     ( select p_key,  
4.            sort_word ,  
5.            row_number()  over(distribute by p_key sort by sort_word) as rn  
6.      from store)  t  
7.      where t.rn=1; 
   

Hive上一个典型表内除重的写法， p_key为除重依据， sort_word 为排序依据，一般为时间   rn为排名。 这里就留下第一名

注意hql 方言中， 表的嵌套要家别名， 字段前加上表别名。 union all 不支持顶层视图。

参考链接：

hive 嵌套使用： http://www.oschina.net/code/snippet_1421929_43903

hive求两个集合的减集： http://www.bkjia.com/yjs/942686.html

SQL 操作结果集 -并集、差集、交集、结果集排序：http://www.cnblogs.com/kissdodog/archive/2013/06/24/3152743.html

关于hive子查询，union，left join ：http://www.tuicool.com/articles/MZf6ny

hivejoin 操作小结： http://blog.youkuaiyun.com/xyilu/article/details/8112747