从10万个数据中找最大的10个数

最新推荐文章于 2022-09-27 02:10:15 发布
转载 最新推荐文章于 2022-09-27 02:10:15 发布 · 5.1k 阅读 · 0

本文深入探讨了海量数据处理中的TopK问题，即如何从大量数据中高效找出前K个最大值。通过分析不同算法，如堆排序和快速选择，解释了它们的时间复杂度和适用场景。特别关注了从10亿个数中找出最大的10000个数的具体实现，以及从10万个数中找出10个最大数的解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

java-Top K问题「海量数据中筛选出最大或最小的10个数」
m0_46325101的博客
01-19 940
java 优先级队列 PriorityQueue可实现自动排序功能 数据结构：小顶堆 堆在做海量数据中筛选出排好序的几个元素是最合适的数据结构！！！ 源码和原理： https://baijiahao.baidu.com/s?id=1665383380422326763&wfr=spider&for=pc 1. 海量数据中筛选出最大或最小的10个数 package com.eaglefly.common.service; import org.junit.Test; import jav
海量数据处理：如何从10亿个数中，找出最大的10000个数？（top K问题）
热门推荐
寒泉
08-28 7万+
一、问题 有 10 亿个不重复的数字，内存中只能放进 1 万个数，怎么找到最大的 10 万个数字？ 这道题的思路是，先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。 复杂度分析 建堆时间复杂度是O(m)，堆调整的时间复杂度是O(logm)，最终时间复杂度等于，1次建堆时间+n次堆调整时间=O(m+nlogm)=O(nlogm) 这里的n为10亿，m为100
从10万个数中找10个最大的数
sky_100的博客
08-29 2万+
对于这种题目，最普通的想法是先对这10万个数进行排序，然后再选取数组中前10个数，即为最后的答案，排序算法的时间复杂度不下于O(N lgN)。最好的方法是建立一个最小堆。 算法描述： 我们首先取10万个元素中的前10个元素来建立由10个元素组成的最小堆。这样堆顶元素便是当前已知元素的第10大的数；然后依次读取剩下的99990个元素，若读取的元素比堆顶元素大，则将堆顶元素和当前元素替换，并自堆顶至
10万个数中取最大的10个数
dibachun8482的博客
05-23 1103
var s=[6,7,8,9,10,11,12,13,14,15,16,17,23,24,25,26,27,28,0,1,2,3,4,5,18,19,20,21,22,99,55,-4,33,95]; var m=[,,] window.onload=function(){ m[0]=s[0]; m[1]=s[1]; ...
（算法）从10000个数中找出最大的10个
smh821025的专栏
04-25 1万+
从10000个整数中找出最大的10个，最好的算法是什么？ 算法一：冒泡排序法 　　千里之行，始于足下。我们先不说最好，甚至不说好。我们只问，如何“从10000个整数中找出最大的10个”？我最先想到的是用冒泡排序的办法：我们从头到尾走10趟，自然会把最大的10个数找到。方法简单，就不再这里写代码了。这个算法的复杂度是10N（N=10000）。 算法二： 　　有没有更好一点的算
面试之大数找关键值（如从10亿个浮点数中找出最大的1万个）
06-09
"面试之大数找关键值（如从10亿个浮点数中找出最大的1万个）" 本文讨论了一道常见的笔试面试题目：从10亿个浮点数中找出最大的1万个。这个问题看似简单，但实际上却具有很高的难度，因为处理如此大量的数据需要考虑...
海量数据处理 大量数据中找出最大的前10个数 （Top K 问题）
wandou9527的博客
09-04 1万+
在工作中我们常遇到此类问题，从一个大量甚至海量的数据中取出前几个大的数。必须在海量的文章中取出点击量最大的10篇文章。 此类问题其实就是Top K问题。 给定一个数据（数据量海量 N），想找到前 K 个最大的或最小的元素。 eg：有10亿个Long型整数，如果找出其中最大的10个？ 最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O（nlogn），如快速排序。每个Long类型占8个字节，10亿个数就要占用7GB+的存储空间，对于一些可用内存小于7GB的计算机而
优化算法：从大量数据中找出最大值的高效方法
在面试或笔试中，尤其是在IT行业中，经常会遇到处理大规模数据的问题，例如题目所述的"从10亿个浮点数中找出最大的1万个"。这个问题看似简单，实则需要对算法和数据结构有深入的理解。由于数据量巨大，直接在内存中...
从100万个数里面找出10个最大的数。写出代码并分析复杂度。
qq_43109561的博客
07-25 4121
题目：从100万个数里面找出10个最大的数。写出代码并分析复杂度。 分析： 拿出这组数据的前10个数构建一个小根堆（堆排序:升序排序10个数，先建一个大根堆，再将堆顶的最大值与最后一个值交换，这样不断循环直到排好序成为一个小根堆），这个堆将保存数据中最大的10个数，接下来遍历剩下的数据，遇到比堆顶元素小的元素直接跳过，遇到比堆顶元素大的，替换堆顶元素，再对堆进行维护（也就是排序的过程），当遍...
对1000000个数进行排序找出10个最大的数
C/C++ World
05-30 4405
创建时间：2006年5月28属性：原创内容简介：快速排序，堆排序关键字：快速排序，堆排序，排序前序从某网上看到google的面试题目，要求从1000000个数中选出10个最大的数，题目好像有些挑战性，想了半天，只知道用快速排序或堆排序或者归并排序比较好，于是开始动手写写。一.随即生成数字（异常就懒得写了）void CreateTheDataFile(long *&data, long &count
随机生成10000个在区间1~10万之间的整数，然后找出最大的10个数字。
p7477的博客
09-27 2117
随机生成10000个在区间1~10万之间的整数，然后找出最大的10个数字。记录一下，自己遇到这道题时，自己第一时间想到的方法。
2020-03-26：现在我有一个十万大小的数据集，要从中寻找选出最大的10个元素，怎么做呢？
福大大架构师每日一题
06-10 1万+
一次遍历 或者 小根堆 评论
对1000000个数进行排序找出10个最大的数---后记1
C/C++ World
06-13 2303
前几天的那个问题本问题“对1000000个数进行排序找出10个最大的数”也可以用插入排序或选择排序，对于选择排序在目标数中每次选择最大的数，与前面的10个数进行交换，大约需O(10*n)的时间消耗。如下算法：void InsertSort(long data[], long count){    /*    *    在count个数中找到最大的数，与第0个进行交换，然后再在后count-1中找到
hadoop中的hive查询cdn访问日志指定时间段内url访问次数最多的前10位（结合python语言）...
weixin_34111819的博客
11-06 325
hadoop环境描述：master节点：node1slave节点：node2，node3，node4远端服务器（python连接hive）：node29需求：通过hive查询到cdn日志中指定时间段内url访问次数最多的前10个urlps：用pig查询可以查询文章：http://shineforever.blog.51cto.com/1429204/1571124说明：pyt...
100000个数找出最小或最大的10个
刚学会HelloWorld的XXX的博客
03-01 8612
大体思路： 首先一点，对于海量数据处理，思路基本上是确定的，必须分块处理，然后再合并起来。 对于每一块必须找出10个最大的数，因为第一块中10个最大数中的最小的，可能比第二块中10最大数中的最大的还要大。 分块处理，再合并。也就是Google MapReduce 的基本思想。Google有很多的服务器，每个服务器又有很多的CPU，因此，100亿个数分成100块，每个服务器处理一块，1亿个数分成...
Java 输出10个数计算出最大数和最小数
nnxqc1_1的博客
12-01 3087
Java 输出10个数计算出最大数和最小数
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
feelinghappy的专栏
08-23 641
前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。 先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O（mlogm），算法的时间复杂度为O（nmlogm）（n为10亿，m为10000）。 ...
探究 — 二叉搜索树
Kalton的博客
09-19 555
二叉搜索树（Binary Search Tree） 回顾与思考 我们来思考这么一个问题，如何在n 个动态的整数中搜索某个整数？（查看其是否存在） 看着还是很简单的，以动态数组存放元素，从第0个位置开始遍历搜索，运气好的话，第一个就找到了，运气差的话，可能找到最后都找不到，算一下的话平均时间复杂度是 O(n)，数据规模大的话，是比较慢的 再好一点的话，上一篇 二分查找及其变种算法 说到了，使用二分查找的话，效率是很高的，最坏时间复杂度：O(logn)，不怕你数据规模大，但是我们要注意一点，这是一个动态的序列，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值