【算法面试】TopN问题

最新推荐文章于 2024-07-08 07:00:00 发布
原创 最新推荐文章于 2024-07-08 07:00:00 发布 · 1.3w 阅读 · 40 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#堆排序 #算法面试 #TopN问题

竹石

 

作者：郑燮

 

咬定青山不放松，立根原在破岩中。

千磨万击还坚劲，任尔东西南北风。

 前言

 又到了一年一度的南北人口大迁移的时候，没有买票的赶紧买票，今年很早就已经回家准备过年了，因为小编已经离职啦，最近正在积极复习找工作，闲话不多扯，开始今天的正题。

面试题目：如何在10亿个整数中找出前1000个最大的数。

 这就是有名的TopN问题，这样的问题有很多种解法，下面我对我了解的解法做一个总结并写出最优算法。

如果初次听到这样的题目，我相信大家和我的第一反应都是一样的，先排序后输出前1000个，那么多排序，归并排序、快速排序、堆排序。。。

那么问题来了，排序的复杂度太大，数据量又是上亿级别的，明显排序方案不合理。那么我们能否不要全排，只排序部分元素，不就可以了吗？

 

方法一：冒泡排序

由此想到冒泡排序的原理：通过两层for循环，外层第一次循环找到数组中最大的元素放置在倒数第一个位置，第二次循环找到第二大的元素放置在倒数第二个位置。。。循环N次就可以找到TopN。

缺点：冒泡排序内层循环需要大量交换元素。复杂度介于O(n)和O(n^2)之间。

 

方法二：分而治之

由快速排序原理可知：选一个基准元素，每次排序可以将这个基准元素搁置在正确的位置，左边都是比基准小的元素，右边都是比基准大的元素从而将数组分成左右两部分，分而治之。TopN问题也同样如此，选择一个基准元素并通过快速排序将基准元素搁置在正确的位置，如果左边的元素个数小于1000，那么继续从基准右边排序，如果左边元素个数大于1000，那么从基准左边排序，直到基准的位置正好在1000，结束。

缺点：第一次排序复杂度是O(n),第二次排序复杂度是O(n/2),第三次排序复杂度是O(n/4)...

 

 方法三：文件存储，分而治之

将比基准小的元素存储在txt1中，比基准大的文件存储在txt2中，然后通过类似方法二的形式，最后求出TopN。

缺点：磁盘读取，写入次数过多。

 

方法四：分布式、MapReduce

单机内存和性能确实受限，那么我们

最低0.47元/天 解锁文章
TOPN问题
强化学习曾小健
01-21 3608
TOPN问题 　　TOPN就是给出一个数组，找出前N个最大的元素。 　　比如： 　　　　1. 电商网站中找到每个商品分类下用户点击最多的5个商品是什么等等。 　　　　2. 给定一个几百G的Nginx访问日志文件，取出访问频率在top100的IP。 　　问题：有10000个数字，那么求出前n个最大的数？有几种解法 　　　　1. 先给数排序，然后截取前n个。不过这后面10000 - n个数字是不需要排序的。 　　　　2. 利用堆排序。 　　　　3. 先截取前n个数，然后n+1的数和这n个里面的最
互联网大厂高频面试题基本总结回顾（含笔试高频算法整理）
热门推荐
曾经“等你生日那天”都遥远得像未来，如今却可欢愉的挥手说“下个十年见”
04-03 176万+
1.自我介绍+项目介绍+项目细节/难点提问-------这个主要看个人的经历了，每个人都不一样 2.基础知识点考核---------还是可以去增强自己的，也是这次的主要的一些总结思路 3.算法题-----------一般都是LeetCode高频题，这个得在找工作之前的好好的练习(d对常见的高频题进行总结分析，见对应的链接提示)
图解面试题：经典topN问题
公众号（猴子数据分析）
11-21 2167
工作中会经常遇到这样的业务问题：如果找到每个类别下用户点击最多的5个商品是什么？这类问题其实就是常见的：每组最大的N条记录(topN)。【题目】现有“成绩表”，记录了每个学生各科的成绩。表内容如下：问题：查找每个学生成绩最高的2个科目【解题思路】1.看到问题中要查“每个”学生最高的成绩。还记得我们之前课程里讲过的吗？当有“每个”出现的时候，就要想到是要分组了。这里是“每个学生”，结合表的结构，是按...
算法基础：海量数据处理——TopN问题
ReturnTmp的博客
06-09 1785
算法基础：海量数据处理——TopN问题
算法 topN
ice_time1的博客
08-11 1625
M个排好序的数组，每个数组长度为F，找出所有的前N大的数 建立一个大根堆，大小为M个，这M个元素为M个数组的每个元素的最大值 每次拿出最大的数，也就是堆顶放入N长度的数组，然后放进拿出这个数的数组中前一个数，循环，直到N长度的数组放满。 还有一个问题是：M大小数组找出前N大的数 这就是一个排序的问题，如果内存可以放下M大小这么多，那就用堆排，如果不行就用快排
Java面试来一发（一）TopN问题
CoffeDaddy的专栏
01-08 2485
一、TopN问题描述 1、TopN问题描述 问题一：找出海量数据中出现次数最多的N个数据。 问题二：找出两个超大文件中的相同字符串。 问题三：找出超多整数中没有重复出现的整数，或多少以内没出现的整数。 2、解决方案 通用方案：分而治之的思想，先拆分成很多小文件，每个文件分别统计和排序，然后归并排序。 问题一：除分而治之方案外，如果无内存限制，则可用trie字典树。 问题二：除分而治...
牛客面试算法top101（JAVA和C++）
04-30
牛客面试算法top101（JAVA和C++） 作为一名IT大师，我将为您提供详细的IT知识点，基于给定的文件信息。 标题解读 牛客面试算法top101（JAVA和C++）是指牛客网提供的面试算法题库中的top101道题，涵盖了JAVA和C++两...
算法面试问题高频系列（一）
小朱小朱绝不认输的博客
12-24 1308
在面试过程中，一些手撕代码的高频问题值得总结和记录。如：Top K 问题的多种解法、一道结合「简单数据结构 & 简单算法」的面试题、既能考察对「数据结构」的掌握，还能考察对「递归函数」的设计、 文章目录一、Top K 问题的多种解法703. 数据流中的第 K 大元素1. 冒泡排序法2. 快速排序法3. 优先队列法二、一道结合「简单数据结构 & 简单算法」的面试题21. 合并两个有序链表1. 双指针解法（哨兵技巧）2. 递归法实现三、既能考察对「数据结构」的掌握，还能考察对「递归函数」的设计2
【Java完整版 面试必备】Leetcode Top100题目和答案-贪心算法篇
weixin_43298211的博客
07-08 2157
Leetcode Top100题目和答案-贪心算法篇：【买卖股票的最佳时机】 给定一个数组prices，它的第i个元素prices[i]表示一支给定股票第i天的价格。 你只能选择某一天买入这只股票，并选择在未来的某一个不同的日子卖出该股票。设计一个算法来计算你所能获取的最大利润。 返回你可以从这笔交易中获取的最大利润。如果你不能获取任何利润，返回0。
图解SQL面试题：经典topN问题
公众号（猴子数据分析）
11-24 519
工作中会经常遇到这样的业务问题：如果找到每个类别下用户点击最多的5个商品是什么？这类问题其实就是常见的：每组最大的N条记录(topN)。【题目】现有“成绩表”，记录了每个学生各科的成绩。表内容如下：问题：查找每个学生成绩最高的2个科目【解题思路】1.看到问题中要查“每个”学生最高的成绩。还记得我们之前课程里讲过的吗？当有“每个”出现的时候，就要想到是要分组了。这里是“每个学生”，结合表的结构，是按...
TopN
埋葬青春
06-03 1240
result.sortBy(t => t._2).take(10)cmd演示： val list = List(("zhangsan",20),("lisi",9),("wangwu",33)) list.sortBy(t => t._2).takeRight(1) //表示从右边开始取几条对RDD进行操作： result.sortBy(t => t._2,ascending=f...
找出topN
shit
04-17 725
<br />找出Top N<br />     算法一：普通排序<br />     我想对于排序算法大家都已经不陌生了，这里不在赘述，我们要注意的是排序算法的时间复杂度是NlgN，在本题目中，三百万条记录，用1G内存是可以存下的。 <br />    算法二：部分排序<br />     题目要求是求出Top 10，因此我们没有必要对所有的Query都进行排序，我们只需要维护一个10个大小的数组，初始化放入10个Query，按照每个Query的统计次数由大到小排序，然后遍历这300万条记录，每读一条
TopN问题
RichardGeek的博客
02-22 7167
什么是TopN问题：给定一个很大的数据量n，要求从n中提取出最大/最小/重复频度最高的N个数（N相对于n较小，如n为10亿量级，而N为100）。 求topN在大数据中很常见，主要思路有三种： 1.先排序，在遍历出最大或最小的N个 2.通过大小堆，维持一个N个大小的堆，每次和堆顶元素比较，在堆化 3.中位数的中位数算法BFPRT 第一种，先排序，排序算法有很多，冒泡排序，快速排序等。时间复杂度是 O(n*log n)，这里不详讲。 第二种，...
Top n排序算法
abckingaa的博客
12-27 2403
Top n 排序算法,Top n只需要选出前几名最大或最小值。
Top N算法整理
妙法化城
01-23 253
IDEA创建maven项目没有src/main/java目录问题解决 https://blog.youkuaiyun.com/lk142500/article/details/88782116 Java中的集合（四）PriorityQueue常用方法 https://www.cnblogs.com/lingq/p/12735318.html java借助PriorityQueue实现小根堆和大根堆 https://blog.youkuaiyun.com/zcf1784266476/article/details/6896
MapReduce TopN问题
向阳争渡
12-21 743
利用MapReduce如何实现类似Wordcount的TopN问题
求top N算法
qqjjjaa11的专栏
09-10 1825
求topN在大数据中很常见，主要思路有三种： 1.先排序，在遍历出最大或最小的N个 2.通过大小堆，维持一个N个大小的堆，每次和堆顶元素比较，在堆化 3.中位数的中位数算法BFPRT， 第一种，先排序，排序算法有很多，冒泡排序，快速排序等。时间复杂度是 O(n*log n)，这里不详讲。 第二种，用大小堆，维持一个大小堆，元素个...
TopN--简单实现
xxxcyzyy的博客
03-15 964
不用堆排序什么的，简单实现。 public class TopN { @Test public void topN() { int[] initial = new int[] {20, 18, 10, 16, 14, 12, 9, 11, 8, 3, 5, 19, 8, 7, 6, 13, 17, 1, 15, 2, 4}; int m = 1...
MapReduce之topN
踏云追月
01-29 6545
适用场景： 1.这个模式需要一个比较两条记录的比较函数。也就是说，我们必须得通过比较确认两条记录中哪一个更大一些。 2.输出记录数相对于输入记录数将会是异常的小，否则获得整个数据集的全排序将会更有意义。 结构： 这个模式同时使用了mapper和reducer。mapper任务找出其本地的top K，然后所有独立的top K集合在reducer中做最后的top K运算。因为在mapp
java面试必刷算法top101
最新发布
09-04
虽然给定引用未直接提及Java面试必刷的前101个算法，但可以从引用中获取一些关于Java面试高频算法的信息。在Java开发岗位面试中，算法题目占比达70%以上，掌握核心算法思想有助于通过技术面试和提升编程能力 [^1]。对于应届毕业生，算法是大厂校招重点考察科目，而社招一般较常考察冒泡和快排，最好能手写代码 [^2]。 通常Java面试高频算法题型包括字符串处理等 [^1]。常见的排序算法如冒泡排序、选择排序、快速排序、插入排序、堆排序、希尔排序、归并排序和基数排序也是重要考察内容，这些算法的思想、复杂度分析等都可能会被问到 [^3]。 不过，确切的前101个必刷算法没有在引用中给出，一般可以通过专业的算法学习网站如LeetCode、牛客网等，结合相关的Java面试算法书籍来系统梳理出这101个算法。以下为部分常见算法及示例代码： ### 冒泡排序 ```java public class BubbleSort { public static void bubbleSort(int[] arr) { int n = arr.length; for (int i = 0; i < n - 1; i++) { for (int j = 0; j < n - i - 1; j++) { if (arr[j] > arr[j + 1]) { // 交换 arr[j+1] 和 arr[j] int temp = arr[j]; arr[j] = arr[j + 1]; arr[j + 1] = temp; } } } } public static void main(String[] args) { int[] arr = {64, 34, 25, 12, 22, 11, 90}; bubbleSort(arr); for (int num : arr) { System.out.print(num + " "); } } } ``` ### 快速排序 ```java public class QuickSort { public static void quickSort(int[] arr, int low, int high) { if (low < high) { int pi = partition(arr, low, high); quickSort(arr, low, pi - 1); quickSort(arr, pi + 1, high); } } private static int partition(int[] arr, int low, int high) { int pivot = arr[high]; int i = (low - 1); for (int j = low; j < high; j++) { if (arr[j] < pivot) { i++; int temp = arr[i]; arr[i] = arr[j]; arr[j] = temp; } } int temp = arr[i + 1]; arr[i + 1] = arr[high]; arr[high] = temp; return i + 1; } public static void main(String[] args) { int[] arr = {10, 7, 8, 9, 1, 5}; int n = arr.length; quickSort(arr, 0, n - 1); for (int num : arr) { System.out.print(num + " "); } } } ``` ### 字符串反转 ```java public class ReverseString { public static String reverseString(String str) { return new StringBuilder(str).reverse().toString(); } public static void main(String[] args) { String str = "Hello"; System.out.println(reverseString(str)); } } ```
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值