distribute by控制分区文件数

最新推荐文章于 2025-03-01 21:54:44 发布

奥尔良@烤鸡翅

最新推荐文章于 2025-03-01 21:54:44 发布

阅读量2.8k

点赞数 1

本文链接：https://blog.youkuaiyun.com/Zmc8721/article/details/100055672

版权

distribute by是Hive中控制数据在Map端分发到Reduce端的策略，常用于解决分区文件大小不均的问题。通过结合rand()函数和调整spark.sql.shuffle.partitions，可以有效地控制分区下的文件数。文章介绍了两种场景：一是静态分区，通过distribute by rand()结合分区限制文件数量；二是动态分区，利用distribute by和sort by组合确保数据有序并平衡文件大小。此外，文章还简单提到了cluster by的作用，它结合了distribute by和sort by的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法.
大部分情况都用于解决Map输出的文件大小不均,Reduce输出文件大小不均,小文件过多,文件超大等情况.
背景:
1.在很多情况下,使用spark sql insert overwrite 表时,由于spark.sql.shuffle.partitions的限定导致分区文件数过多的情况
2.动态分区过多,个别分区下文件大小不均,例如数据延迟等情况,如何控制不同分区下文件的个数

第一种情况: 采用下面方式可以控制此分区下文件个数,具体由业务决定
insert overwrite table temp partition(day)
select c.* from
(select a.*, cast(rand() * 10 as int) as fileNum
(select * from user ) a
left join
(select * from test) b
on a.user_id =b.user_id ) c distribute by fileNum

如：
在这里插入图片描述
控制小文件原本小文件有1000个，加上distribue by 后，只有12个小文件。