HIVE迁移的点点滴滴（二）--rownum分组

今天编写的脚本里有个根据某个字段进行rownum分组的需求。在oracle这个用分析函数row_number() over，能很轻松搞定，hive里就麻烦了。

模拟的表结构如下：

user_id    buy_num   rownum

  1               30              1

  1               20              2

  1               10              3

  2                50             1     

  2                20             2

其中rownum就是我们要生成的。

第一反应肯定是用UDF写一个自定义函数，网上搜了下，解决方案还是蛮多的

http://hi.baidu.com/asweknow/item/107f418c794e1fd55e0ec1b4

在eclipse里建一个工程，把hive里面的jar包导进去， 代码扔进去，打个jar包出来。很简单，具体使用可以参考我之前的博文。

创建表：

 

数据导入：

 导入udf函数

 

 结果出来了，很理想

不过网上说，当多个map运行时就会出问题。这是显然的，因为静态变量rownum木有被多个map共享嘛。现在测试中数据不多，只用了1个map还没出现这种情况。