海量数据——TopK问题

最新推荐文章于 2025-02-21 09:56:30 发布

victory_523

最新推荐文章于 2025-02-21 09:56:30 发布

阅读量1.9k

点赞数 3

分类专栏：数据结构文章标签： TopK CVTE笔试堆排序

本文链接：https://blog.youkuaiyun.com/ypt523/article/details/79683866

版权

数据结构专栏收录该内容

8 篇文章

订阅专栏

TopK问题是一个经典的海量数据处理问题，比如微博热搜每隔10分钟都会更新出排行前10的热门搜索信息，再或者通过大数据找出一个地区最爱吃的水果等，都可以使用TopK问题来解决，其核心思想就是最小堆的引入。

TopK问题分析

在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这类问题通常被称为TopK问题。

下面我们通过一个简单的例子来说明：假如面试官给你100W个数据，请找出其最大的前K个数，而且现在只有1M的空间？

在32位操作系统中，默认一个字节为4个字节，则有下列运算：

NeedSize = 100W * 4 / 1024 /1024 = 4M

计算结果大约等于4M，很显然1M的空间根本不够。也就是说，即使用最复杂的方法你也无法找到一个合适的空间来存储，因此引入了最小堆数据结构。

下面我只说实现的核心思路，对此有不理解的请查看最大堆和最小堆的相关性质。思路如下：

（1）定义两个数组，arr用于存储海量数据，top用于存储最小堆（底层可以借助vector）

（2）将海量数据的前K个元素先填满top堆

（3）调整top堆为最小堆结构

（4）通过遍历将新数据与堆顶元素（此时堆顶元素是堆里最小的数据）进行比较，大于堆顶就入堆，并向下调整堆结构

（5）遍历结束，则堆中的元素即n个数中最大的前K个

//TopK.h
#pragma once
#include<iostream>
#include<time.h>
using namespace std;

#define N 100000

//向下调整(最小堆)
template<class T>
void AdjustDown(T* top,size_t root,size_t k)
{
	size_t parent = root;
	size_t child = parent * 2 + 1;
	while(child < k)
	{
		//若右孩子存在并且小于k而且右孩子小于左孩子
		if(child+1<k && top[child+1] < top[child])
		{
			++child; //让child指向那个较小的孩子
		}
		//当前较小的孩子小于父亲时则交换
		if(top[child] <top[parent])
		{
			swap(top[child],top[parent]);
			parent = child;
			child = parent * 2 + 1;
		}
		else
		{
			break;
		}
	}
}
template<class T>
void TopK(T* arr,T* top,size_t k)
{
	//先将top数组存满
	for(size_t i = 0;i < k;i++)
	{
		top[i] = arr[i];
	}
	//从第一个非叶子结点开始向下调整
	for(int end = (k-2)/2;end >= 0;end--)
	{
		AdjustDown(top,end,k);
	}
	//此时小堆已经形成
	for(size_t j = k;j < N;++j)
	{
		if(arr[j] > top[0])//堆顶元素小于新比较的元素
		{
			swap(top[0],arr[j]);
			AdjustDown(top,0,k);
		}
	}
	//遍历完成，top数组内存储的就是最大的前K个数
	for(size_t index = 0;index < k;index++)
	{
		cout<<top[index]<<" ";
	}
	cout<<endl;
}

//TopK.cpp
#include"TopK.h"
#define K 10
void Test()
{
	int arr[N] = {0};
	int top[K] = {0};
	srand((unsigned)time(NULL));//随机种子
	for(size_t index = 0;index < N;index++)
	{
		arr[index] = rand();
	}
	TopK(arr,top,K);
}
int main()
{
	Test();
	return 0;
}

CVTE笔试题之TopK问题

问题描述：本公司现在要给公司员工发福利，在员工工作时间会提供大量的水果供员工补充营养。由于水果种类比较多，但是又不知道哪种水果比较受欢迎，然后公司就让每个员工报告了自己最爱吃的K种水果，并且告知已经将所有员工喜欢的水果存储于一个数组中，然后让我们统计出所有水果出现的次数，并且求出大家最喜欢吃的前K种水果。

算法分析：往往笔试过程中，要求在很短的时间内写出一个算法，直接调用标准库里的函数是比较方便的，比如这道题就是对STL中三种容器的考察，具体步骤如下：

（1）首先，使用vector来存储所有的水果。

（2）其次，采用map将vector中存在的水果的数量统计出来，map支持下标访问。

（3）最后，通过优先级队列来建立小堆，然后就是TopK问题。

代码实现：

#include<iostream>
#include<queue>
#include<vector>
#include<string>
#include<map>
using namespace std;

void GetFavouriteFruit(vector<string>& fruits,size_t k)
{
	//1.通过map统计水果出现的次数
	map<string,int> _map;

	for(size_t i = 0;i < fruits.size();++i)
	{
		_map[fruits[i]] ++;
	}
	//自定义仿函数，比较map键值对的第二个元素即水果出现的次数
	struct Compare
	{
		bool operator()(map<string,int>::iterator left,map<string,int>::iterator right)
		{
			return left->second < right->second;
		}
	};
	//2.通过优先级队列来建立小堆，对水果出现的次数进行排序
	priority_queue<map<string,int>::iterator, vector<map<string,int>::iterator>, Compare> _pq;	
	map<string,int>::iterator it = _map.begin();
	while(it != _map.end())
	{
		_pq.push(it);//将包含水果名称和水果出现的次数存储于优先级队列里
		++it;
	}
	//3.打印次数最多的k种水果
	while(k--)
	{
		cout<<_pq.top()->first<<" : "<<_pq.top()->second<<endl;
		_pq.pop();
	}
}
int main()
{
	vector<string> V; //定义存放水果的数组
	V.push_back("苹果");
	V.push_back("香蕉");
	V.push_back("西瓜");
	V.push_back("葡萄");
	V.push_back("哈密瓜");
	V.push_back("菠萝");
	V.push_back("橘子");
	V.push_back("火龙果");
	V.push_back("橙子");
	V.push_back("香蕉");
	V.push_back("香蕉");
	V.push_back("香蕉");
	V.push_back("香蕉");
	V.push_back("葡萄");
	V.push_back("橘子");
	GetFavouriteFruit(V, 3);
	return 0;
}