求 TOPK 的三种方法及分析

本文介绍了使用冒泡排序、堆排序和快速排序求解TopK问题的方法,对比了不同算法的时间复杂度,并提供了堆排序和快速排序的具体实现代码。

从八大排序来说,适合求 topk 的排序有:冒泡、堆排、快排

冒泡(n*k):对于冒泡来说,求前k个数,只需要遍历k次即可,因此算法上有性能的提升

堆排(nlogk):构造一个大小为 k 的堆,求前 k 大就构造最小堆(构造完之后,最小值如果小于当前值,则覆盖然后再调整一次堆),最前 k 小就构造最大堆(同理),然后过一遍即可。

快排(n*logn) :利用快排的思想,如果 partition 过后,指针刚好指向 k(k-1),则左边部分(加上k)则为求解,但是这个解并不是有序的,还需要排序依次,而大于k的话,则抛弃右边,向左边求解,如果小于 k 的话,则抛弃左边向右边求解(也可以继续对左边排序,这样最后就不用再排序了)。最后求出k,再对k前面部分排序依次就可以。
这里的时间复杂度计算要复杂一些,首先平均要logn次递归是不变的,变化的是每次要遍历的数组大小,第一次要遍历 n 个, 第二次要遍历 n/2 个,第三次 n/4 个 。。。。一共遍历logn次,这是一个等比数列,求前logn项和之后,复杂度是 2n - (2n/2^logn),也就是o(n)级别的了,所以快排应该是最快的了,不过有个缺点就是排序出来的k个数不是有序的,还要再排序一次。

总结:
(1)如果 k 很小,例如10以内的话,则利用冒泡堆排都可以,毕竟 k 和 logk 相差不大,但是冒泡相对简单。
(2)如果 k 比较大,则不适合用冒泡,考虑堆排和快排,一个是nlogk,一个是 2n - (2n/2^logn),一般而言是快排比较快,但是如果数组会动态变化的话,堆排比较好,因为插入复杂度可以控制在logk,而快排是k。对于辅助空间,快排o(1),堆排o(k)。
(3)采用quickSelect思想有一个很重要的问题,就是大小相等的数要不要过掉,首先肯定要过掉的,不然当左右指针指向的值都等于privot的时候会死循环。然后因为我们要求topk,而最后的topk都存在数组的前k个位置,因此,这里要特别注意的是前半部分要用 >= 即遇到和枢轴相等的元素跳过,而从后往前的指针不能跳过。参考过几个人写的都没有注意这个问题,自己拿下来测一遍就会出问题了。当然如果采用重复的数最后往中间移这种方案也是可以的。

用堆求解的代码:

import java.util.*;

public class Solution {
    public ArrayList<Integer> GetLeastNumbers_Solution(int [] input, int k) {
        if(input.length==0 || k==0 || input.length < k) return new ArrayList<Integer>();
        int[] arr = new int[k];
        for(int i=0;i<k;i++) arr[i] = input[i];
        maxHeap(arr,k);
        for(int i=k;i<input.length;i++) {
            if(input[i] < arr[0]) {
                arr[0] = input[i];
                heapAdjust(arr,0,k);
            }
        }
        ArrayList<Integer> ans = new ArrayList<>();
        for(int i=0;i<k;i++) {
            ans.add(arr[i]);
        }
        return ans;
    }

    public void maxHeap(int[] arr, int n) {
        for(int i=n/2-1;i>-1;i--) {
            heapAdjust(arr,i,n);
        }
    }

    public void heapAdjust(int[] arr, int st, int n) {
        int i = st;
        int j = 2*i+1;
        int key = arr[st];
        while(j<n) {
            if(j+1<n && arr[j+1] > arr[j]) j++;
            if(arr[j] < key) break;
            arr[i] = arr[j];
            i = j;
            j = 2*i+1;
        }
        arr[i] = key;
    }
}


快排求解代码

#include<cstdio>
#include<cstdlib>
#include<cstring>
#include<cmath>
#include<algorithm>
#include<iostream>
#include<bitset>
#include<queue>
#include<vector>
#define INF 0x3f3f3f
#define PI 3.141592653
#define max(a,b) ((a > b) ? a : b)
#define min(a,b) ((a < b) ? a : b)
using namespace std;

void quickSelect(int arr[], int left, int right, int k) {
    if(left>=right || k == 0) return;
    int priot = arr[left];
    int i = left, j = right;
    while(i<j) {
        while(i<j && arr[j]>priot) j--;  //这里不能加 = 号
        arr[i] = arr[j];
        while(i<j && arr[i]<=priot) i++; // 这里必须加 = 号
        arr[j] = arr[i];
    }
    arr[i] = priot;
    if(i > k) {
        quickSelect(arr, left, i-1, k);
    } else if(i < k) {
        quickSelect(arr, i+1, right, k);
    }
}

void topn(int arr[], int n) {
    int k = 5;
    quickSelect(arr,0,n-1,k);
    for(int i = 0 ; i < k; i++) {
        printf("%d ",arr[i]);
    }
}

int main()
{
    //freopen("input.txt","r",stdin);
    int arr[] = {5,4,343,43,54,5565,1,-2,3,12,5,6};
    topn(arr,sizeof(arr)/sizeof(arr[0])); 
    return 0;
}
<think>好的,我现在要解决用户的问题,关于TOPK算法的解决方案、实现方式和数据结构。首先,我需要回忆一下TOPK问题的定义和应用场景。TOPK问题通常指的是从一个数据集中快速找出前K个最大或最小的元素,这在很多场景下都很常见,比如热门商品推荐、大数据分析中的高频词统计等。 用户提到他们想了解解决方案、实现方式和数据结构,所以我要系统地整理这些方面的信息。首先,解决方案有哪些呢?常见的方法包括排序法、堆结构、快速选择算法,还有可能的分治法或者使用二叉搜索树等结构。我需要逐一分析这些方法的优缺点,以及适用的场景。 首先,排序法是最直观的,直接对整个数据集排序然后取前K个元素。这种方法的时间复杂度是O(n log n),当n很大时效率可能不高,但实现简单,适用于数据量不大的情况。比如用户提供的引用[3]中提到的选择排序方法,遍历n个数,维护一个大小为k的数组,每次替换最小元素,这样时间复杂度是O(n*k)。这种方法在k远小于n时可能比完全排序更高效,但k接近n时复杂度接近O(n²),效率下降。 接下来是堆结构。使用最大堆或最小堆可以有效地维护前K个元素。例如,如果要找最大的K个元素,可以用一个最小堆,堆的大小保持为K,每次新元素如果比堆顶大,就替换堆顶并调整堆。这样时间复杂度是O(n log k),因为每次堆调整的时间是O(log k)。这种方法在k较小的情况下效率很高,适合海量数据的处理,因为不需要一次性加载全部数据到内存。 然后是快速选择算法,这是基于快速排序的分区思想。通过选择一个基准元素将数组分成两部分,然后根据基准的位置决定继续处理哪一部分,直到找到第K大的元素。平均时间复杂度是O(n),但最坏情况下可能达到O(n²)。不过,可以通过随机选择基准来优化,使得实际应用中性能较好。这种方法适合需要精确找到第K个元素,或者前K个元素的情况,但实现起来稍微复杂一些。 此外,分治法可能在大数据场景下使用,比如MapReduce框架中的分布式处理,将数据分割到多台机器上分别处理,再合并结果。不过这可能超出用户当前的问题范围,但可以简要提及。 数据结构方面,堆(优先队列)是实现TOPK最常用的结构,如Python中的heapq模块。另外,二叉搜索树或者平衡树如AVL树、红黑树也可以用来维护有序集合,但插入和删除操作的时间复杂度较高,可能不如堆高效。 用户提供的引用[3]中提到的方法实际上是一种改进的选择排序,维护一个大小为k的数组,每次替换最小的元素。这种方法的时间复杂度是O(nk),当k较小时可能比完全排序更高效,但k较大时效率不如堆或快速选择。 现在需要将这些方法整理成结构化的回答,比较它们的优缺点,并给出实现方式。例如,堆的实现可以用Python的heapq模块,快速选择需要自己实现分区逻辑。同时,需要指出不同方法适用的场景,比如数据量大小、内存限制等。 还需要注意引用用户提供的参考资料。例如,引用[3]中的方法对应选择或交换排序的改进,可以引用该部分说明O(nk)的方法。而堆的方法可能在其他引用中没有提到,但根据知识库中的信息,用户提供的引用[2]是关于树状数组的,可能不直接相关,但需要确认是否有关联。 最后,生成相关问题,可能包括不同方法的比较、时间复杂度的分析、实际应用案例等。例如,如何选择堆的大小、处理海量数据时的外部排序方法等。 总结步骤: 1. 定义TOPK问题及其应用场景。 2. 分点列出解决方案:排序法、堆、快速选择、分治等。 3. 对每种方法详细说明实现方式、数据结构、时间复杂度,并引用相关资料。 4. 比较各方法的优缺点和适用场景。 5. 提供代码示例,如堆的实现。 6. 生成相关问题。</think>### TOPK问题解决方案 TOPK问题指从$n$个元素中快速找出**前K个最大/最小元素**,常见于热门推荐、日志分析等场景[^3]。 --- #### 一、主要解决方案及实现方式 1. **排序法(全排序)** - **实现**:对所有元素排序后取前K个 - **时间复杂度**:$O(n \log n)$ - **适用场景**:数据量较小(如$n<10^6$) - **示例代码**: ```python def topk_sort(arr, k): return sorted(arr, reverse=True)[:k] ``` 2. **改进选择排序法** - **实现**:维护大小为$K$的数组,遍历时替换最小元素 - **时间复杂度**:$O(nk)$ - **适用场景**:$K$远小于$n$(如$K<100$) - **优化点**:通过比较跳过无效更新(减少替换次数) 3. **堆(优先队列)** - **数据结构**:最小堆(找最大K元素)或最大堆(找最小K元素) - **实现步骤**: 1. 建立大小为$K$的堆 2. 新元素与堆顶比较,替换后调整堆结构 - **时间复杂度**:$O(n \log K)$ - **Python示例**: ```python import heapq def topk_heap(arr, k): return heapq.nlargest(k, arr) ``` 4. **快速选择算法(QuickSelect)** - **原理**:基于快速排序的分区思想,定位第$K$大元素 - **时间复杂度**:平均$O(n)$,最坏$O(n^2)$(可通过随机化基准优化) - **实现关键**: ```python def partition(arr, low, high): pivot = arr[high] i = low for j in range(low, high): if arr[j] >= pivot: arr[i], arr[j] = arr[j], arr[i] i += 1 arr[i], arr[high] = arr[high], arr[i] return i ``` --- #### 二、方法对比 | 方法 | 时间复杂度 | 空间复杂度 | 适用场景 | |------------------|---------------|----------|-------------------------| | 全排序 | $O(n \log n)$ | $O(n)$ | 小数据量 | | 改进选择排序 | $O(nk)$ | $O(k)$ | $K$极小(如$K<50$) | | 堆 | $O(n \log K)$ | $O(K)$ | 海量数据(流式处理) | | 快速选择 | $O(n)$平均 | $O(1)$ | 需精确第$K$元素 | --- #### 三、扩展应用 - **海量数据场景**:结合外部排序或分治策略(如MapReduce) - **动态数据流**:使用堆结构实时维护TopK结果[^1] ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值