在存有10亿个数的文件中找出100万个数

最新推荐文章于 2024-07-25 08:48:59 发布
最新推荐文章于 2024-07-25 08:48:59 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/caianye/article/details/6096600
本文介绍了一种高效的查找方法：通过建立一个包含100万个元素的堆来直接找到所需元素，而不是采用传统方式建立一个10个元素的堆并进行100万次的检索。

只建立一个100万个元素的堆；这样就找出来了。而不是建立一个10个元素的堆，再通过取出根结点100万次来得到。

caianye
关注
在存有10亿个数的文件中找到最大的100万个数
pein0119的专栏
08-08 3407
这是《编程珠玑》中的一道题目。10亿个整数，假设每个整数需要四个字节，如果使用排序的话，需要大约4G的内存，现在的很多pc都没有多这么内存，更不用说作者那个年代。 我们借助最小堆来解决这个问题。 主要步骤： 一、使用一个大小为一百万零一的整数数组来构建堆（堆的下标从1开始） 二、从文件中读取前一百万个数，每读入一个数，调用函数，保持其最小堆的性质，堆的根永远是堆中最小的元素。 三、从一百
[面试题]海量数据处理-从10亿个数中找频率最高的1000个数
benjamin.li的小屋
01-24 7854
方法一：分治思想 通常比较好的方案是分治+Trie树/hash+小顶堆（就是上面提到的最小堆），即先将数据集按照Hash方法分解成多个小数据集，然后使用Trie树或者Hash统计每个小数据集中的query词频，之后用小顶堆求出每个数据集中出现频率最高的前K个数，最后在所有top K中求出最终的top K。 方法二：hadoop的map,reduce top K问题很适合采用MapReduce
十亿数据中求最大一百个数字
苏湘的专栏
10-13 2798
Stackoverflow看到的问题，真是热火朝天。前期看过相关大数据处理的一些文章，有新的处理方式，于是借此机会实现了一份代码。但是Stackoverflow的Reputation过低，还无法回答问题。在此先保存下来，后期再回复。 package org.example.bigdata; public class TopNumber { public static void main(
经典算法应用之七----10亿数据中取最大的100个数据
极客神殿
01-18 1633
给出三种思路，仅供参考。。 1.思路一：根据快速排序划分的思想，每次分割之后只考虑比轴大的一部分，知道比轴大的一部分在比100多的时候，采用传统排序算法排序，取前100个。 step1：递归对所有数据分成[a,b)，(b,d]两个区间，(b,d]区间内的数都是大于[a,b)区间内的数 step2：对(b,d]重复step1操作，直到最右边的区间个数小于100个。注意[a,b)
100万个数中找到最大的100个数
Coding小飞侠的专栏
10-13 3861
1. 算法如下：根据快速排序划分的思想 (1) 递归对所有数据分成[a,b）b（b,d]两个区间，(b,d]区间内的数都是大于[a,b)区间内的数 (2) 对(b,d]重复(1)操作，直到最右边的区间个数小于100个。注意[a,b)区间不用划分 (3) 返回上一个区间，并返回此区间的数字数目。接着方法仍然是对上一区间的左边进行划分，分为[a2,b2）b2（b2,d2]两个区间，取（b2,d2]区间
海量数据处理问题：两个文件a和b，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出a,b文件共同的URL...
baibu1411的博客
08-17 596
这是一个百度的面试题 在网上搜了下答案是这样的 出处： http://blog.youkuaiyun.com/zhangtian6691844/article/details/51120772 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 　　方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以...
5.3 如何使用堆解决下列问题？如果输入的数据是有序的又该如何解决？ 1) 计算大型浮点数集合的和； 2) 在存有 10 亿个数的文件中找出最大的 100 万个数；
最新发布
11-06
2) 在存有10亿个数的文件中找出最大的100万个数： 可以采用分块读取的方式来解决这个问题。假设每个文件块包含一部分数据，我们可以先对每个块内的数据进行排序（如使用快速排序或者归并排序），然后用堆来维护每一...
大数据中位数怎么运算_转:海量数据找中位数
weixin_30276247的博客
12-28 1937
题目如下：只有2G内存的pc机，在一个存有10G个整数的文件，从中找到中位数，写一个算法。算法：1.利用外排序的方法，进行排序 ,然后再去找中位数2.另外还有个思路利用堆先求第1G大，然后利用该元素求第2G大，然后利用第2G大，求第3G大...当然这样的话虽不需排序，但是磁盘操作会比较多，具体还需要分析下与外排序的效率哪个的磁盘IO会比较多建立一个1g个整数的最大值堆，如果元素小于最大值则入堆，这...
2.5亿个整数中找出不重复的数代码实现
jovon的专栏
03-18 2625
对于在2.5亿个整数中找出不重复的数（内存不足以容纳这2.5亿个整数），已经有众多前辈给出了比较详尽的算法描述，但在具体实现上现有的例子则比较简单，规模偏小。昨天生成2.5亿个数之后，开始读文件统计，结果10个小时左右没出结果。所以今天用25万个数做实验，几分钟就得出了统计结果。在VS2010环境里新建C++控制台工程，完整的实现代码如下。程序算法实现部分参考http://blog.csdn.ne
大厂面试官问我：两个1亿行的文件怎么求交集？【后端八股文十五：场景题合集】
qq_33445788的博客
07-25 2171
任务分批： 将任务分成多个批次，每次从任务列表中取出一部分任务交给线程池处理。这样可以避免一次性将大量任务提交给线程池，减少系统资源竞争。 线程池大小调优： 根据系统资源和任务的性质，合理设置线程池的大小。如果任务是 CPU 密集型的，可以设置较少的线程数；如果任务是 I/O 密集型的，可以适当增加线程数。避免线程数过多导致上下文切换频繁，影响性能。
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
热门推荐
yofer张耀琦的专栏
08-16 12万+
前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。         先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆
10亿数据中取最大的100个数据
OUT of memory
04-18 5837
思路1：根据快速排序划分的思想 （1）递归对所有数据分成[a,b）b（b,d]两个区间，(b,d]区间内的数都是大于[a,b)区间内的数 （2）对(b,d]重复(1)操作，直到最右边的区间个数小于100个。注意[a,b)区间不用划分 （3）返回上一个区间，并返回此区间的数字数目。接着方法仍然是对上一区间的左边进行划分，分为[a2,b2）b2（b2,d2]两个区间，取（b2,d2]区间。如果
对含有一亿数据的大文件进行排序，要求使用内存小于32MB
暮鼓的博客
07-20 1万+
大文件排序 题目：有10个文件，每个文件有1000万行，文件内容的每一行为一个整型数字；需要，写一个程序，将所有数字排序，分为10个文件输出，如0号文件包含前1000万个数字，1号文件文件包含1千万-2千万之间的数字，依次类推。 限制：如果使用java，-Xmx需要设置为32MB；其它语言也需限制内存为32MB。 要求:正确输出 使用多线程加分编写时长：24。 小时。提供可运行的程序，以及实现说...
C++： 生成100万随机数， 排序后保存到文件中
博客已迁移至 http://chenzz.me
09-19 4037
简介 代码 参考 http://blog.youkuaiyun.com/hackbuteer1/article/details/6574908
1000亿个整数，请找出其中最大的100个
weixin_33859665的博客
10-23 831
2019独角兽企业重金招聘Python工程师标准>>> ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值