Spark Sql Left Join(多对多)导致的数据膨胀问题和解决

lilyjoke

已于 2022-03-03 17:45:42 修改

阅读量6.3k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： sql spark 数据库

于 2022-03-03 17:20:30 首次发布

本文链接：https://blog.youkuaiyun.com/lilyjoke/article/details/123258837

在处理大数据时，遇到30亿条记录的大表与20万条记录的小表进行left join操作，导致数据严重膨胀。通过分析，发现小表中srcgid有多个dstgid对应，使left join后每条大表记录膨胀至多倍。解决方案是将多对多关系调整为多对1，只保留每个srcgid的一个dstgid，从而显著减少数据量，使得查询在几分钟内完成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题：大表left join小表，小表有20万条，大概就12M大小。大表有30多亿条，对应分区下有40个HDFS文件，简单的一个left join，跑了几个小时跑不出结果。

INSERT OVERWRITE TABLE 结果表 PARTITION(dt='20220302') 
select 
    vertice,types,gid 
from (
    select 
        vertice,gid,types 
    from 
        大表 
    where dt='20220302'
) a 
left join (
    SELECT 
        srcgid,dstgid 
    FROM 
        小表 
    WHERE dt='20220302') as b
on a.gid = b.srcgid

解决：

1. 刚开始没仔细研究，做了两个优化：小表cache然后广播；大表select的时候重分区，增加并发数，还是没跑过，发现执行到left join的时候，数据膨胀得非常大，6000万的数据 join 20万数据，膨胀到千亿条。

2. 定位发现，在小表中，相同的srcgid对应多条不同的dstgid，比如相同的srcgid对应有100个dstgid，那么left join时，匹配的大表记录，每条记录都会膨胀成100条，和业务对接好需求之后，修改了，srcgid对应的dstgid只取其中一个，使大表关联小表的多对多情况，变成多对1。这样跑了几分钟就跑出来了。

--对这张小表重新入库，srcgid只对应一个dstgid，其他代码不变。
INSERT OVERWRITE TABLE 小表 PARTITION(dt='2022

最低0.47元/天解锁文章

200万优质内容无限畅学