从100亿个整数中找出最大/最小的1000个整数

最新推荐文章于 2024-04-06 07:32:03 发布
原创 最新推荐文章于 2024-04-06 07:32:03 发布 · 3.6k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种处理大规模数据集的有效算法，当数据量超出内存容量时，使用最小堆寻找最大的1000个整数，使用最大堆寻找最小的1000个整数。通过逐步迭代数据，确保了最终结果的准确性。

一句话总结：内存无法装下，用比较速度最快的数据结构。

先找最大的1000个整数

1、内存无法装下：先取出1001个整数，构建一个最小堆，堆顶永远是最小的整数。

2、比较：从剩余的整数中一次取出一个，跟最小堆堆顶相比，如果比堆顶小，就pass掉，接着取；如果比最小堆堆顶大，那么将之替换掉堆顶，然后调整最小堆

3、结果：100亿个整数全部操作完后，抛开堆顶，剩下的1000个就是最大的1000个整数。


找最小的1000个整数用最大堆就可以了

面试题：从10亿个随机整数中，找出前1000个最大数
slw20010213的博客
12-31 446
题目描述 从10亿个随机整数中，找出前1000个最大数，要求以最小的时间复杂度及空间复杂度实现该需求。 解题思路 这道题的解决思路是将无序整数排列为有序序列，升序或降序，从中取出前1000个最大数。适用的排序算法包括： 插入排序、选择排序、冒泡排序、快速排序等，时间复杂度： 堆排序、归并排序，时间复杂度： 本题需要实现的是找出前1000个最大数，空间上可以只做1000条最大目标数组，其他数据与目标数组进行比较，如果比较值小于目标数组最小值，则抛弃。否则将最小值替换为比较值，并使用排序算法完
1亿个数中找出最大的100个数（top K问题）
周鹏飞的IT学习之路
07-16 6209
如何在1亿个数中找出最大的100个数（top K问题） ​ 最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O（nlogn），如快速排序。但是在32位的机器上，每个float类型占4个字节，1亿个浮点数就要占用400MB的存储空间，对于一些可用内存小于400M的计算机而言，很显然是不能一次将全部数据读入内存进行排序的。其实即使内存能够满足要求（我机器内存都是8GB），该方法也并不高效，因为题目的目的是寻找出最大的10000个数即可，而排序却是将所有的元素
100亿数据找出最大的1000个数字（top K问题）
sofuzi的博客
06-27 1万+
在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最好的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。例如，在搜索引擎中，统计搜索最热门的10个查询词；在歌曲库中统计下载最高的前10首歌等。1、最容易想到的方法是将数据全部排序。该方法并不高效，因为题目的目的是寻找出最大的10000个数即可，而排序却是将所有的元素都排序了，做了很多的无用功。2、局部...
实现一个位图、100亿个整数找出只出现一次的整数、找出现次数不超多2次的数
Steve_Abelieve
08-05 3832
1.–实现一个位图。 位图特点： 节省空间 适合数据比较密集的情况 适合判断事件 是否 这样的问题 相关位运操作： & | ~ 代码实现：#include<iostream> #include<vector>using namespace std;// //1.【基础题】--实现一个位图。 //位图特点： 节省空间，适合数据密集的情况 class BitSet {
算法题：如何在100亿个数据中找出前100的数字
Mar.三月
06-13 2708
https://mp.weixin.qq.com/s/jES3gqaHfgJXbTgPmUbAqw
从100w个数中找出最大的100个数
qq_51336270的博客
04-06 358
这个问题采用小顶堆来实现，我们只需要建立一个大小为100的小顶堆，然后遍历剩下的99w9900个元素，只要这个元素和我们堆顶的元素比较，小于堆顶说明一定不会是100个最大数之一，因为我们堆顶元素一定是最小的，如果大于堆顶，就将堆顶元素修改为这个元素，然后down（1）来维护我们的小根堆。如果这道题目采用大根堆，那么我们就需要建一个10w的大根堆再每次取出并删除堆顶，显然不如小根堆的维护方式。
100000个数找出最小或最大的10个
进击30K的专栏
05-11 2353
大体思路： 首先一点，对于海量数据处理，思路基本上是确定的，必须分块处理，然后再合并起来。 对于每一块必须找出10个最大的数，因为第一块中10个最大数中的最小的，可能比第二块中10最大数中的最大的还要大。 分块处理，再合并。也就是Google MapReduce 的基本思想。Google有很多的服务器，每个服务器又有很多的CPU，因此，100亿个数分成100块，每个服务器处理一块，1亿个数分成100块，每个CPU处理一块。然后再从下往上合并。注意：分块的时候，要保证块与块之间独立，没有依赖关系，否
1亿个整数中找出最大的10000个数
最新发布
03-20
好的，我现在要解决的问题是如何高效地从1亿个整数中筛选出最大的10000个数。这个问题看起来有点挑战性，特别是当数据量非常大的时候，直接的方法可能效率很低，甚至无法处理。我需要仔细分析可能的算法和它们的优...
海量数据处理：如何从10亿个数中，找出最大的10000个数？（top K问题）
热门推荐
寒泉
08-28 7万+
一、问题 有 10 亿个不重复的数字，内存中只能放进 1 万个数，怎么找到最大的 10 万个数字？ 这道题的思路是，先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。 复杂度分析 建堆时间复杂度是O(m)，堆调整的时间复杂度是O(logm)，最终时间复杂度等于，1次建堆时间+n次堆调整时间=O(m+nlogm)=O(nlogm) 这里的n为10亿，m为100
一道笔试题：从1亿个整数中找出最大的一万个
GE1988的专栏
02-27 4805
<br /><br />今天看到一篇赖永浩大牛的博客，由一道笔试题目谈算法优化。http://blog.youkuaiyun.com/lanphaday/archive/2008/12/19/3547776.aspx。<br />题目原题是从10亿个浮点数中找出最大的一万个，赖的文章主要是讲如何去优化算法，并不是侧重在这道题目，所以对其进行了简化。<br /> <br />题目：从1亿个整数中找出最大的一万个。<br /> <br />赖永浩的解法：<br />基本思想是维持一个数组记录当前最大的一万个数，每来一个新数
老卫带你学---100亿数据找出最大的1000个数字（top K问题）
老卫带你学
03-30 2025
在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最好的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。例如，在搜索引擎中，统计搜索最热门的10个查询词；在歌曲库中统计下载最高的前10首歌等。 1、最容易想到的方法是将数据全部排序。该方法并不高效，因为题目的目的是寻找出最大的10000个数即可，而排序却是将所有的元素都排序了，做了很多的无用功。 2、...
100亿数据找出最大的1000个数字的4种方法
fct2001140269的博客
06-04 2259
面试题 解决的找出最大M个数的方法
一百亿个数据找出其中的一千个最大的——堆排序
jakelihua
10-18 262
在处理大规模数据集时，我们经常需要找出其中的最大或最小元素。堆排序是一种高效的排序算法，它可以在较小的内存空间中处理大规模数据集，并找出其中的最大或最小元素。
满大街都是这种烂题目------从100亿个整数中找出最大的1000个整数
认知 行动 坚持
09-02 9250
不得不说， 这年头， 满大街都是类似这种烂题目------从100亿个整数中找出最大的1000个整数。        注意点： 内存装不下， 不能一次读到内存。        思路： 随便抽出1000个数， 假设他们是最大的1000个， 然后把剩余的数往其中加， 接着在这1001个数据中淘汰最小的， 再次剩余1000个。 如此循环， 直到最后， 肯定剩下1000个， 也就是最大的1000个。
java 最快获取最小前K个数
往事散云烟，十寸光阴换一钱
08-29 3207
从一列n个数字中取最小的前k个数字。这是一个面试经常会问到问题，回答这个问题并不难，但是如何能分析出最优的算法，能够分析出多少种算法，这会是面试官真正感兴趣的问题。这里总结一下这个问题的所有解法与复杂度。1. 快速排序法 O(N*logN)最简单直接的方法就是快速排序+返回前k个数字。快速排序是复杂度为N*logN的算法，而查找前k个数字需要是时间复杂度为O(K)。总体的时间复杂度为O(N*logN
100亿数据找出最大的1000个数字
JackieeeCheng的博客
05-18 9355
100亿数据找出最大的1000个数字
各大互联网公司面经集锦（附解答）
Ding_xiaofei的博客
09-17 1192
数据库 数据库多表查询 MYSQL常用引擎及其区别（innoDB、MyISAM、MEMORY区别） B树、B+树数据结构、区别 select、epoll，以及边缘触发、水平触发 数据库的索引介绍一下 MySQL用的挺多，问你一下，innodb的b+树索引，主键索引，聚簇索引有什么区别。 MySQL里有哪些锁，行锁表锁，乐观锁呢，我说了版本号和MVVC，开始问我MVVC。 事务...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值