10G整数文件找出中位数或者第K大数

最新推荐文章于 2025-03-11 11:28:52 发布

努力前行的小蜗牛

最新推荐文章于 2025-03-11 11:28:52 发布

阅读量943

点赞数 2

分类专栏：面试每日总结文章标签： 10G整数桶排序大数据

本文链接：https://blog.youkuaiyun.com/changrj6/article/details/102781949

版权

每日总结同时被 2 个专栏收录

20 篇文章

订阅专栏

面试

6 篇文章

订阅专栏

本文介绍了一种高效算法，用于从10GB整数数据中快速查找中位数。通过将整数按高位划分并多次迭代桶排序，最终使用快速排序确定精确值，适用于大数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                        
                    
                    将10G整数分成2G读5次，读入内存中，每个数组归入对应的桶中：
 1）将int分为4Byte，取最高8位，分成256个桶（0-255）
 2）获取每个整数的高8位，归入对应的桶中
 3）读完2G，将255个桶数据放入磁盘中
 4）依次读完10G整数文件
针对0-255个桶，从0开始累加桶中数据size，找出中位数所处的桶
 计为k1桶
将k1桶中整数，按照次高位放入0-255个桶【1）-4）】，找到对应的次高位桶k2
k2桶中数字，同理找到次低位中桶k3
k3桶中数字，可以直接快排，找出对应数字

                