HIVE中ROW_NUMBER()函数的讲解

ROW_NUMBER()函数

ROW_NUMBER() OVER(PARTITION BY COLUMN1 ORDER BY COLUMN2)

• 1上述代码含义是首先根据COLUMN1进行结果集分组，结果集内部按照COLUMN2分组，输出结果是类似于双重分组的结果。

select id,dept,salary,ROW_NUMBER() OVER(PARTITION BY dept ORDER BY salary)

• 1执行结果为：

---

id dept salary row_number
1 a 10000 1
2 a 9000 2
3 a 8000 3
4 b 12000 1
5 b 11000 2

---

其中结果会首先按照dept分组升序排序，然后按照salary降序进行排序，而后面的row_number则是在每个dept分组中的排序号。

注：我们可以使用ROW_NUMBER()函数进行去重，使用上述两个列名首先对其进行双重排序，最后在这个hql语句外层再添加一个判断row_number的值为1的条件语句获取分组排序后的第一条数据进行获取，即达到了去重的效果。