海量数据处理（查重，topk）

查重问题

查重：就是在一组海量数据中，查找重复的数据，一般的解题思路就是哈希表

哈希表

名称	特点
unordered_set	单重集合，只存放key，不允许key重复
unordered_multiset	多重集合，只存放key，允许key重复
unordered_map	单重映射表，存放[key, value]键值对，不允许key重复
unordered_multimap	多重映射表，存放[key, value]键值对，允许key重复

示例问题：找第一个重复的数字

int main()
{
   
   
	vector<int> vec;//将要查找的数据放在vec中
	for (int i = 0; i < 200000; ++i)
	{
   
   
		vec.push_back(rand());
	}
     
	// 用哈希表解决查重，因为只查重，所以用无序集合解决该问题
	unordered_set<int> hashSet;
	for (int val : vec)
	{
   
   
		// 在哈希表中查找val
		auto it = hashSet.find(val);
		if (it != hashSet.end())//找到了
		{
   
   
			cout << *it << "是第一个重复的数据" << endl;
			return; 
		}
		else
		{
   
   
			// 没找到
			hashSet.insert(val);
		}
	}

	return 0;
}

统计数字及其出现的次数可以使用无序映射表

#include <iostream>
#include <unordered_map>
using namespace std;
int main()
{
   
   
	
	vector<int> vec;
	for (int i = 0; i < 200000; ++i)
	{
   
   
		vec.push_back(rand());
	}

	// 用无序映射表统计数字和数字出现的次数
	unordered_map<int, int> hashMap;
	for (int val : vec)
	{
   
   
		hashMap[val]++; // 可以直接记录数据并且更新数据出现的次数
	}

	// 打印统计出来的重复的数据
	for (pair<int, int> value : hashMap)
	{
   
   
		if (value.second > 1)
		{
   
   
			cout << "key:" <<