org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row

最新推荐文章于 2025-03-28 15:19:28 发布

oO寒枫Oo

最新推荐文章于 2025-03-28 15:19:28 发布

阅读量2.8w

点赞数 3

分类专栏： hive

本文链接：https://blog.youkuaiyun.com/lxpbs8851/article/details/39025501

版权

博客讲述了在处理Hive查询时遇到的HiveRuntimeError，特别是涉及row_number()窗口函数时的数据倾斜问题。作者发现由于空字符串导致的相同记录过多，从而引发严重的数据倾斜。解决方案包括过滤空字符串数据和调整Reduce数量。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

任务一直正常跑这 某一天突然出现这个问题。

错误信息和我之前的问题类似，但是可以确定的是肯定不是函数的问题。

http://blog.youkuaiyun.com/lxpbs8851/article/details/17528389

java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesinkkey0":"00.26.37.E3.07.D3","reducesinkkey1":"2014-07-07 12:51:46"},"value":{"_col2":515,"_col3":"515999000056662_00.26.37.E3.07.D3","_col5":"00.26.37.E3.07.D3","_col6":"2014-07-07 12:51:46"},"alias":0}
	at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java:274)
	at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:469)
	at org.apache.hadoo