面试题热个身:5 亿整数的大文件,来排个序?

大厂高频经典面试题(65)-大文件排序 题目:设想你有个20GB的文件,每行有一个字符串,请阐述一下将如何对这个文件进行排序。 阅读详情

点击上方“芋道源码”,选择“设为星标”

做积极的人,而不是积极废人!

源码精品专栏

 

来源:xupengzhang

importnew.com/23450.html

  • 一、问题

  • 二、内部排序

  • 三、归并排序:

  • 四、sort命令来跑

  • 五、位图法

  • 六、外部排序


一、问题

给你1个文件bigdata,大小4663M,5亿个数,文件中的数据随机,如下一行一个整数:

现在要对这个文件进行排序,怎么搞?

二、内部排序

先尝试内排,选2种排序方式:

    private final int cutoff = 8;

    public void perform(Comparable[] a) {
        perform(a,0,a.length - 1);
    }

    private int median3(Comparable[] a,int x,int y,int z) {
        if(lessThan(a[x],a[y])) {
            if(lessThan(a[y],a[z])) {
                return y;
            }
            else if(lessThan(a[x],a[z])) {
                return z;
            }else {
                return x;
            }
        }else {
            if(lessThan(a[z],a[y])){
                return y;
            }else if(lessThan(a[z],a[x])) {
                return z;
            }else {
                return x;
            }
        }
    }

    private void perform(Comparable[] a,int low,int high) {
        int n = high - low + 1;
        //当序列非常小,用插入排序
        if(n <= cutoff) {
            InsertionSort insertionSort = SortFactory.createInsertionSort();
            insertionSort.perform(a,low,high);
            //当序列中小时,使用median3
        }else if(n <= 100) {
            int m = median3(a,low,low + (n >>> 1),high);
            exchange(a,m,low);
            //当序列比较大时,使用ninther
        }else {
            int gap = n >>> 3;
            int m = low + (n >>> 1);
            int m1 = median3(a,low,low + gap,low + (gap << 1));
            int m2 = median3(a,m - gap,m,m + gap);
            int m3 = median3(a,high - (gap << 1),high - gap,high);
            int ninther = median3(a,m1,m2,m3);
            exchange(a,ninther,low);
        }
        if(high <= low)
            return;
        //lessThan
        int lt = low;
        //greaterThan
        int gt = high;
        //中心点
        Comparablepivot =  a[low];
        int i = low + 1;
        /*
        * 不变式:
        *   a[low..lt-1] 小于pivot -> 前部(first)
        *   a[lt..i-1] 等于 pivot -> 中部(middle)
        *   a[gt+1..n-1] 大于 pivot -> 后部(final)
        *
        *   a[i..gt] 待考察区域
        */
        while (i <= gt) {
            if(lessThan(a[i],pivot)) {
                //i-> ,lt ->
                exchange(a,lt++,i++);
            }else if(lessThan(pivot,a[i])) {
                exchange(a,i,gt--);
            }else{
                i++;
            }
        }
        // a[low..lt-1] < v = a[lt..gt] < a[gt+1..high].
        perform(a,low,lt - 1);
        perform(a,gt + 1,high);
    }

三、归并排序:

    /**
     * 小于等于这个值的时候,交给插入排序
     */
    private final int cutoff = 8;
    /**
     * 对给定的元素序列进行排序
     *
     * @param a 给定元素序列
     */
    @Override
    public void perform(Comparable[] a) {
        Comparable[] b = a.clone();
        perform(b, a, 0, a.length - 1);
    }

    private void perform(Comparable[] src,Comparable[] dest,int low,int high) {
        if(low >= high)
            return;
        //小于等于cutoff的时候,交给插入排序
        if(high - low <= cutoff) {
            SortFactory.createInsertionSort().perform(dest,low,high);
            return;
        }
        int mid = low + ((high - low) >>> 1);
        perform(dest,src,low,mid);
        perform(dest,src,mid + 1,high);
        //考虑局部有序 src[mid] <= src[mid+1]
        if(lessThanOrEqual(src[mid],src[mid+1])) {
            System.arraycopy(src,low,dest,low,high - low + 1);
        }
        //src[low .. mid] + src[mid+1 .. high] -> dest[low .. high]
        merge(src,dest,low,mid,high);
    }

    private void merge(Comparable[] src,Comparable[] dest,int low,int mid,int high) {
        for(int i = low,v = low,w = mid + 1; i <= high; i++) {
            if(w > high || v <= mid && lessThanOrEqual(src[v],src[w])) {
                dest[i] = src[v++];
            }else {
                dest[i] = src[w++];
            }
        }
    }

数据太多,递归太深 ->栈溢出?加大Xss?数据太多,数组太长 -> OOM?加大Xmx?

耐心不足,没跑出来.而且要将这么大的文件读入内存,在堆中维护这么大个数据量,还有内排中不断的拷贝,对栈和堆都是很大的压力,不具备通用性。

四、sort命令来跑

跑了多久呢?24分钟.

为什么这么慢?

粗略的看下我们的资源:

内存 jvm-heap/stack,native-heap/stack,page-cache,block-buffer 外存 swap + 磁盘 数据量很大,函数调用很多,系统调用很多,内核/用户缓冲区拷贝很多,脏页回写很多,io-wait很高,io很繁忙,堆栈数据不断交换至swap,线程切换很多,每个环节的锁也很多.

总之,内存吃紧,问磁盘要空间,脏数据持久化过多导致cache频繁失效,引发大量回写,回写线程高,导致cpu大量时间用于上下文切换,一切,都很糟糕,所以24分钟不细看了,无法忍受.

五、位图法

    private BitSet bits;

    public void perform(
            String largeFileName,
            int total,
            String destLargeFileName,
            Castor<Integer> castor,
            int readerBufferSize,
            int writerBufferSize,
            boolean asc) throws IOException {
        System.out.println("BitmapSort Started.");
        long start = System.currentTimeMillis();
        bits = new BitSet(total);
        InputPart<Integer> largeIn = PartFactory.createCharBufferedInputPart(largeFileName, readerBufferSize);
        OutputPart<Integer> largeOut = PartFactory.createCharBufferedOutputPart(destLargeFileName, writerBufferSize);
        largeOut.delete();
        Integer data;
        int off = 0;
        try {
            while (true) {
                data = largeIn.read();
                if (data == null)
                    break;
                int v = data;
                set(v);
                off++;
            }
            largeIn.close();
            int size = bits.size();
            System.out.println(String.format("lines : %d ,bits : %d", off, size));
            if(asc) {
                for (int i = 0; i < size; i++) {
                    if (get(i)) {
                        largeOut.write(i);
                    }
                }
            }else {
                for (int i = size - 1; i >= 0; i--) {
                    if (get(i)) {
                        largeOut.write(i);
                    }
                }
            }
            largeOut.close();
            long stop = System.currentTimeMillis();
            long elapsed = stop - start;
            System.out.println(String.format("BitmapSort Completed.elapsed : %dms",elapsed));
        }finally {
            largeIn.close();
            largeOut.close();
        }
    }

    private void set(int i) {
        bits.set(i);
    }

    private boolean get(int v) {
        return bits.get(v);
    }

nice!跑了190秒,3分来钟. 以核心内存4663M/32大小的空间跑出这么个结果,而且大量时间在用于I/O,不错.

问题是,如果这个时候突然内存条坏了1、2根,或者只有极少的内存空间怎么搞?

六、外部排序

该外部排序上场了. 外部排序干嘛的?

内存极少的情况下,利用分治策略,利用外存保存中间结果,再用多路归并来排序;

map-reduce的嫡系.

1.分

内存中维护一个极小的核心缓冲区memBuffer,将大文件bigdata按行读入,搜集到memBuffer满或者大文件读完时,对memBuffer中的数据调用内排进行排序,排序后将有序结果写入磁盘文件bigdata.xxx.part.sorted. 循环利用memBuffer直到大文件处理完毕,得到n个有序的磁盘文件:

2.合

现在有了n个有序的小文件,怎么合并成1个有序的大文件?把所有小文件读入内存,然后内排?(⊙o⊙)… no!

利用如下原理进行归并排序:

我们举个简单的例子:

文件1:3,6,9 文件2:2,4,8 文件3:1,5,7

第一回合:文件1的最小值:3 , 排在文件1的第1行 文件2的最小值:2,排在文件2的第1行 文件3的最小值:1,排在文件3的第1行 那么,这3个文件中的最小值是:min(1,2,3) = 1 也就是说,最终大文件的当前最小值,是文件1、2、3的当前最小值的最小值,绕么?上面拿出了最小值1,写入大文件.

第二回合:文件1的最小值:3 , 排在文件1的第1行 文件2的最小值:2,排在文件2的第1行 文件3的最小值:5,排在文件3的第2行 那么,这3个文件中的最小值是:min(5,2,3) = 2 将2写入大文件.

也就是说,最小值属于哪个文件,那么就从哪个文件当中取下一行数据.(因为小文件内部有序,下一行数据代表了它当前的最小值)

最终的时间,跑了771秒,13分钟左右.



欢迎加入我的知识星球,一起探讨架构,交流源码。加入方式,长按下方二维码噢:

已在知识星球更新源码解析如下:


最近更新《芋道 SpringBoot 2.X 入门》系列,已经 20 余篇,覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例,以及超 4W 行代码的电商微服务项目。

获取方式:点“在看”,关注公众号并回复 666 领取,更多内容陆续奉上。

如果你喜欢这篇文章,喜欢,转发。

生活很美好,明天见(。・ω・。)ノ♡

BAT面试题——海量整数,找出不重复整数 海量整数(数据),找出不重复; python字典结构; bool数组; 迭代器。 阅读详情

相关推荐

Java 5亿整数大文件怎么排序

主要介绍了Java 5亿整数大文件怎么排序,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

海量数据相关面试问题(一):海量数据文件排序问题(Bitmap、多路归并算法)

文章目录前引海量数据相关面试问题(一):海量数据文件排序问题(Bitmap、多路归并算法)1、如何给磁盘文件排序1、一些相关问题的 遐想总结2、bitmap排序(对于数据重叠无能为力/可排除重复数字)1、bitmap排序 思路介绍2、bitmap排序 代码实现(代码中排序数组大小为10000000)2、bitmap排序 结果验证3、多路归并算法(内部排序 + 外部排序)1、多路归并算法 思路介绍2、多路归并排序 代码实现(代码中排序数组大小为10000000)3、多路归并算法 结果验证2、浅浅总结一下 前

Love 6's Private Blog 1790

告别Nginx原始日志!VictoriaLogs+Grafana构建企业级应用日志分析平台实战

描述:做为一个合格的运维工程师,在面对企业安全运维管理中,日志审计是一项非常重要的工作。授人以鱼不如授人以渔,各位运友们可参照作者的方案设计,在自己的项目中根据实际情况调整落地,例如,不在仅仅采集 NGINX 应用日志,而是采集 Apache、Tomcat、SpringBoot 等多种应用服务器的日志,又如,不再仅仅采集网络设备、安全审计审计日志,而是 Windows、Linux 等多种操作系统的审计日志等,大家可充分发挥想象、实践能力,也欢迎大家在知识星球中分享自己的方案设计,一起交流学习。

全栈工程师修炼指南-IT知识分享 2482

面试题,给你256M的内存,对10G的文件进行排序(文件每行1个数字)

未完成。有问题。

qiu18610714529的博客 822

Edge浏览器IE模式全攻略:从企业应用到老旧网站兼容(含常见问题解答)

本文详细解析了微软Edge浏览器的IE模式,这是解决企业遗留系统与老旧网站兼容性问题的关键技术。文章从核心原理出发,提供了从个人用户临时启用到企业级组策略部署的完整配置指南,并深入探讨了文档模式调优、ActiveX控件处理等高级技巧,最后汇总了常见问题排查与安全实践,帮助用户高效平衡兼容性与现代化浏览体验。

weixin_29227425的博客 612

RedHat 9 替换yum源镜像

引言:我们个人通常使用的红帽系统yum源是需要注册付费的,所以在使用yum源安装一些软件时无法正常安装(例如:MySQL),这时我们就需要将yum源替换为CentOS对应的源,以实现在红帽系统中正常安装软件。

YUJIAOZHU666的博客 3739

java大文件排序_面试被问傻!5亿个数大文件怎么排序?

曾经被问傻的一道面试题分享给你:给你1个文件bigdata,大小4663M,5亿个数,文件中的数据随机,如下一行一个整数:61963023557681612158020393452095006174677379343122016371712330287901712966901...7005375现在要对这个文件进行排序,怎么搞?内部排序先尝试内排,选2种排序方式:3路快排:privatefina...

weixin_42122306的博客 336

Unity UGUI深度优化

Unity UGUI优化相关

不定时分享所学所得,包括游戏开发和其他收获! 2722

面试被问傻!5亿个数大文件怎么排序?

曾经被问傻的一道面试题分享给你: 给你1个文件bigdata,大小4663M,5亿个数,文件中的数据随机,如下一行一个整数: 6196302 3557681 6121580 2039345 2095006 1746773 7934312 2016371 7123302 8790171 2966901 ... 7005375现在要对这个文件进行排序,怎...

Java技术栈,分享最主流的Java技术 2519

WSL2+Ubuntu20.04纯root环境搭建指南:告别权限烦恼的终极方案

本文提供了一份详细的WSL2+Ubuntu20.04纯root环境搭建指南,旨在为本地开发与学习打造一个免去权限干扰、极致流畅的Linux子系统环境。通过启用WSL2、安装Ubuntu 20.04,并执行核心的root用户设置,开发者可以彻底告别频繁的sudo操作,提升在文件操作、容器调试和系统配置等方面的效率。

time3的博客 475

基于ROS的室内移动机器人自主导航技术

随着机器人技术的发展,近些年来室内移动机器人的研究热度越来越高。本文主要利用ROS操作系统对室内移动机器人的建图定位与自主导航关键技术进行研究。 ROS是目前开发较为完整具有广阔应用前景的开源机器人操作系统,具有分布式、模块化、代码复用等优良特点。同时ROS还提供了许多开源库,在这些库的基础之上研究同时定位与地图构建和机器人自主导航技术可以节省大量时间。 ORB-SLAM2是比较优秀的视觉SLAM算法之一,它具有计算量比较小、能够实时运行等优点。在介绍ORB-SLAM2的框架之前,首先会介绍视觉SLAM的一

weixin_44553616的博客 1911

开工面试题热个身:5 亿整数的大文件,来排个序 ?

往期热门文章:1、《往期精选优秀博文都在这里了!》2、11张流程图帮你搞定 Spring Bean 生命周期3、在疫情面前,为什么有的公司不愿意接受远程办公?4、一次900万+数据量的 ...

Java后端技术 443

Wsl/InstallDistro/Service/RegisterDistro/CreateVm/HCS/E_INVALIDARG

摘要:安装WSL2时遇到E_INVALIDARG错误(多核CPU问题),可通过创建.wslconfig配置文件解决。配置内容包括:渐进式内存回收、自动代理、模拟虚拟系统调用、限制内存为4GB和处理器核心数为4。需确保已启用虚拟机平台和Linux子系统功能。 (98字)

猿小白的博客 1050

数据量大避免递归_面试题热个身:5 亿整数的大文件,来排个序?

一、问题二、内部排序三、归并排序:四、sort命令来跑五、位图法六、外部排序《Java 2019 超神之路》《Dubbo 实现原理与源码解析 —— 精品合集》《Spring 实现原理与源码解析 —— 精品合集》《MyBatis 实现原理与源码解析 —— 精品合集》《Spring MVC 实现原理与源码解析 —— 精品合集》《Spring Boot 实现原理与源码解析 —— 精品合集》《数据库实体设...

weixin_39942191的博客 124

风机叶片小规模振动监测数据集--读取测试

ETH风电叶片缺陷数据集–读取测试 数据简介 提示:这里可以添加本文要记录的大概内容: 结构健康监测是保障重要机电设备、建筑设施健康的重要技术手段。 一、lvm_read包安装 示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务

cnjs1994的博客 2852

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

面试热身:5 亿整数的大文件,排个序 ?

公众号后台回复“面试”,获取精品学习资料扫描下方海报了解专栏详情来源:https://www.cnblogs.com/xupengzhang/p/7966755.html问题给你1个文件...

石杉的架构笔记 457

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

常见面试题:5 亿整数的大文件,排个序 ?

点击蓝色“肉眼品世界”,设为星标深度价值体系传递作者:foreach_break博客园:https://www.cnblogs.com/foreach-break/p/external_...

weixin_45727359的博客 429

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

面试热身:5 亿整数的大文件,排个序?

第一回合:文件1的最小值:3 , 排在文件1的第1行 文件2的最小值:2,排在文件2的第1行 文件3的最小值:1,排在文件3的第1行 那么,这3个文件中的最小值是:min(1,2,3) = 1 也就是说,最终大文件的当前最小值,是文件1、2、3的当前最小值的最小值,绕么?第二回合:文件1的最小值:3 , 排在文件1的第1行 文件2的最小值:2,排在文件2的第1行 文件3的最小值:5,排在文件3的第2行 那么,这3个文件中的最小值是:min(5,2,3) = 2 将2写入大文件.map-reduce的嫡系.

Cr1556648487的博客 594

字节跳动面试:5 亿整数的大文件,如何排序?

最近,面试头条,面试官一上来,就问了我这么一个问题,我一脸懵逼,决定记录一下。 问题 给你1个文件bigdata,大小4663M,5亿个数,文件中的数据随机,如下一行一个整数: 61963023557681612158020393452095006174677379343122016371712330287901712966901...7005375 现在要对这个文件进行排序,怎么搞? 内部排序 先尝试内排,选2种排序方式。 3路快排: private final int cutoff

weixin_50666791的博客 391

头条面试官:5 亿整数的大文件,如何排序 ?

点击上方蓝色“终端研发部”,选择“设为星标”学最好的别人,做最好的我们 作者:foreach_break来源:https://blog.youkuaiyun.com/gsky1986/article/...

这个时代,作为程序员可能要学习小程序 485

多路归并排序_5 亿!整数的大文件,如何排序?神操作!

最近,面试头条,面试官一上来,就问了我这么一个问题,我一脸懵逼,决定记录一下。问题给你1个文件bigdata,大小4663M,5亿个数(对的,你没听错,就是5亿),文件中的数据随机,如下一行一个整数:61963023557681612158020393452095006174677379343122016371712330287901712966901...7005375现在要对这个文件...

weixin_39964978的博客 131
上一篇: 做开发3年,字节跳动二面JVM底层被问得哑口无言
下一篇: 10 分钟实现 Spring Boot 发生邮件功能
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值