TopK问题

前言:本篇对TopK问题的解答是介于堆的基础上讲的

TopK问题:

就是在许多数据中找到前K个最大的数据或者最小的数据

比如:专业前10、世界五百强、富豪榜、以及游戏排行榜等等

对于TopK问题:能想到的最简单直接的方式就是排序解决,通常包括排序、堆排序、快速选择等排序算法,但是如果数据量太大了,排序就不太可能了(可能数据都不能一下子全部加载到内存中),用到堆排序的方法能够大大减少计算时间和内存需求,反而能得到很高的效率


怎么做?

最开始第一想法肯定是,将所有数据建立成K个堆,然后将K堆的堆顶元素Top(取)出来,得到的就是每个堆的最大/最小的元素,但是呢?这样的话,需要的空间还是挺大的,那么有没有其他办法能够做到,占用少量的空间,完成巨大的任务量呢??

尝试着以K个元素只建一个堆,空间减小了很多,由堆的性质,这个问题好像就迎刃而解了!我们将后n-k个数全部和堆顶元素比较一次,每放进去一个元素又调整成堆,也就是说每次堆顶元素都是这K个元素中最小值,堆顶元素(最小值)遇到比他大的就会被Pop掉,换成遇到的元素入堆(保证元素个数一直在K个),当后N-K个元素比较完后,最后留在堆里的不就是最大的K个数么

 来实现一下10个最大的元素,这里我们用到rand函数和srand以及time生成随机数,即将伪随机变成随机来创建一些数据来进行,当然为了验证,自己可以在最后的数据加10个最大数据,验证即可;这里建堆用的向下排序建堆,因为相比于向上排序建堆,时间复杂度更低

#define _CRT_SECURE_NO_WARNINGS 3
#include<stdio.h>
#include<stdlib.h>
#include<time.h>

//交换函数
void Swp(int* p1, int* p2)
{
	int tmp = *p1;
	*p1 = *p2;
	*p2 = tmp;
}
//打印:
void INPrin(int* a,int n)
{
	for (int i = 0; i < n; i++)
	{
		printf("%d ", a[i]);
	}

}
//向下调整:小堆
void AdjustDownSmall(int* a, int n, int parent)
{

	int child = parent * 2 + 1;
	
	while (child < n)
	{
		//假设法:谁小,小的孩子往上走
		//因为会有孩子没有兄弟
		if (a[child] > a[child + 1] && child + 1 < n)
		{
			child = child + 1;
		}
		if (a[child] < a[parent])
		{
			Swp(&a[child], &a[parent]);
			parent = child;
			child = parent * 2 + 1;
		}
		else
		{
			break;
		}
	}
}


void createndate()
{
	//造数据:
	int n = 10000;
	//设置种子:随机数
	srand((unsigned int)time(NULL));
	//以写的形式打开文件;
	FILE* fp = fopen("data.txt", "w");
	if (fp ==NULL)
	{
		perror("fopen");
		return;
	}
	//数据个数:
	for (int i = 0; i < n; i++)
	{
		//生产0-10000的随机数
		int ret = (rand()+i) % n;
		fprintf(fp, "%d\n", ret);
	}
	//验证
	for (int j = 3*n; j < 3*n + 11; j++)
	{
		fprintf(fp, "%d\n", j);

	}
	fclose(fp);
	fp = NULL
		;
}
//top-k问题:得到最大的k个数
void printtopk(int k)
{
	//打开文件(读)
	FILE* fp = fopen("data.txt", "r");
	if (fp == NULL)
	{
		perror("fopen");
		return;
	}
	int* a = (int*)malloc(sizeof(int) * k);
	if (a == NULL)
	{
		perror("malloc");
		return;
	}
	//
	int i;
	for (i = 0; i < k; i++)
	{
		fscanf(fp, "%d", &a[i]);

	}
	//前k个建小堆:(向下调整)时间复杂度为:o(n)
	for (i = (k - 1 - 1) / 2; i > 0; i--)
	{
		AdjustDownSmall(a, k, i);
	}
	int x = 0;
	while (fscanf(fp, "%d", &x) >0)
	{
		//进行比较并xiangxia调整
		if (a[0] < x)
		{
			a[0] = x;
			AdjustDownSmall(a, k, 0);

		}
	}
	INPrin(a, k);
}

int main()
{
	//createndate();
	printtopk(10);
	return 0;
}

 当然结果并非有序的,想让它有序其实就是堆排序的操作,对这10个元素,不断取栈顶元素,放到数组就能排序好

 x感          谢         观            看

### 堆排序在Top-K问题中的应用 堆排序是一种高效的排序算法,其核心在于利用堆这种数据结构来实现元素的排序。堆可以分为最大堆和最小堆两种形式,其中最大堆的父节点总是大于或等于其子节点,而最小堆则相反。在处理Top-K问题时,通常会使用最小堆来维护最大的K个数。 #### 使用最小堆解决Top-K问题 当需要从一个包含n个元素的数组中找出前k大的元素时,可以采用以下策略: 1. **初始化最小堆**:首先创建一个大小为k的最小堆。 2. **遍历数组**:接着遍历整个数组中的每个元素。 3. **比较与替换**:对于每一个遍历到的元素,如果它比堆顶(即当前堆中最小的元素)还要大,则用这个元素替换掉堆顶,并重新调整堆以保持堆性质。 4. **结果获取**:遍历完成后,堆中的元素即为所求的前k大元素。 这种方法的时间复杂度大约是O(n logk),这比直接对整个数组进行排序然后取前k个元素要高效得多,特别是当n非常大且k相对较小的时候。 ```java /** * 使用最小堆求TOP-K问题 */ private int findTopK2(int[] arr, int k) { // 最小堆 MinHeap heap = new MinHeap(); // 建堆 heap.buildMaxHeap(arr, arr.length); for (int i = k; i < arr.length; i++) { // 如果当前值大于堆顶元素,则替换掉堆顶元素并调整堆 if (arr[i] > arr[0]) { arr[0] = arr[i]; heap.delete(arr, k); } } // 这里其实不需要返回值,只是因为在findTopK1中返回了index,这里也返回index,方便遍历 // 其实在此方法执行后,arr数组的钱K位就是所求元素,直接遍历即可 return k - 1; } ``` #### 复杂度分析 - **时间复杂度**:构建初始堆的时间复杂度是O(k),之后对于剩下的n-k个元素,每次插入堆的操作时间为O(logk),因此总的时间复杂度为O(n logk) [^2]。 - **空间复杂度**:由于只需要额外的空间来存储堆,所以空间复杂度是O(k)。 通过这种方式,我们可以有效地找到大量数据集中前k个最大的元素,这对于大数据处理来说是非常有用的技巧之一。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值