当进行表连接(join)操作时,若关联键存在大量NULL值,这些NULL值会被分配到同一节点上,从而造成数据倾斜。这种情况可能导致处理过程运行缓慢,甚至因内存溢出而被系统终止。
on case when a.user_id is null then concat(‘jd-hive’,rand() ) else a.user_id end = b.user_id;
如果两个表join 时 关联键 有众多null 值 ，null值数据会被分发到某一个节点 ，会导致数据倾斜 导致process 运行缓慢 或是因为内存溢出等原因被系统识别kill
扫一扫
评论 2
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
