hive 中报错: ClassCastException org.apache.hadoop.hive.ql.plan.ConditionalWork cannot be cast to org.a

解决Hive Join倾斜问题：设置skewjoin优化

原创已于 2023-04-04 14:47:36 修改 · 1.4k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hive

于 2022-11-28 18:04:21 首次发布

此篇博客探讨了如何通过设置`hive.optimize.skewjoin`为`false`来处理因数据倾斜导致的Hive Join失败问题，建议优化策略以提高MapReduce Job效率。

报错：
ClassCastException org.apache.hadoop.hive.ql.plan.ConditionalWork cannot be cast to org.apache.hadoop.hive.ql.plan.MapredWork 或者 Application application_1679907883382_1635 failed 2 times due to AM Container for appattempt_1679907883382_1635_000002 exited with exitCode: -1000

解决方案：
`
#是否优化数据倾斜的 Join，对于倾斜的 Join 会开启新的 Map/Reduce Job 处理。

set hive.optimize.skewjoin=false;
`