怎么从10亿个查询词找出出现频率最高的10个

最新推荐文章于 2022-04-04 00:26:03 发布
转载 最新推荐文章于 2022-04-04 00:26:03 发布 · 1.2k 阅读 · 0

本文提供了深入的知识，探讨了如何从海量数据中筛选出特定数量的有效信息。该过程涉及到复杂的数据处理技术和算法，对于理解和掌握大数据处理流程具有重要意义。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考网站:http://dongxicheng.org/big-data/select-ten-from-billions/


很好的参考内容,知识层面相当深,不能复制粘贴直接提供相应的地址。


海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
jacke121的专栏
03-31 2664
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题） 问题：先拿10000个数建最小堆，然后依次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O（mlogm），算法的时间复杂度为O（nmlogm）（n为10亿，m为10000）。 ...
海量数据处理:有1亿个浮点数,找出其中最大的10000个
李俊标的博客
06-15 5163
第一种方法是将数据全部排序,然后在排序后的集合中进行查找,最快的排序算法的时间复杂度一般为O(nlogn),例如快速排序.而在32位机器上,每个float类型占4B,1亿个浮点数就要占用400M的存储空间,对于一些可以内存小于400MB的计算机而言,显然是不能一次将全部数据读入内存进行排序的.其实即使内存能满足要求,该方法也不高效,因为题目的目的是寻找出最大的10000个数即可,而排序是将所有元素...
给定一个file， 查找出里面出现频率最高的10个单词
a130737的专栏
03-24 1万+
之前已经总结了给定一组数字， 如何在线性时间内找到第k小的数字。 这两个问题看似有十分subtle的关系。 很显然这里是找最大的前K个单词。 单词相当于卫星数据， 直接对单词的键值， 即频率排序啦。  现在我们对这个求top K frequent words做一个小小的总结。 方法一： minheap + external sort(即小顶堆 + 外部排序） 之所以使用外部排序， 是因为考
读入文本，找出出现频率最高的10个单词~~~~
weixin_30256505的博客
03-02 212
思路:先创建一个结构体word，用来存放单词，再创建一个空的与其一样的结构体o用来交换 #include <stdio.h>#include <stdlib.h>#include <string.h>struct word{ char c[30]; int n;}w[10000];struct word o; 下面程序主体，变量声明，打开文本文件看是...
查找文章中出现频率最高的单词
csD_Dscnnnnnnn的博客
04-04 847
查找文章中出现频率最高的单词
怎样从10亿查询词找出出现频率最高的10个
思考，思考，再思考~
05-25 3421
原创文章，转载请注明： 转载自董的博客 本文链接地址: http://dongxicheng.org/big-data/select-ten-from-billions/ 1． 问题描述 在大规模数据处理中，常遇到的一类问题是，在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这类问题通常称为“top K”问题，如：在搜索引擎中，统计搜索最热门的10个查询词；在
海量数据处理：如何从10亿个数中，找出最大的10000个数？（top K问题）
热门推荐
寒泉
08-28 7万+
一、问题 有 10 亿个不重复的数字，内存中只能放进 1 万个数，怎么找到最大的 10 万个数字？ 这道题的思路是，先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。 复杂度分析 建堆时间复杂度是O(m)，堆调整的时间复杂度是O(logm)，最终时间复杂度等于，1次建堆时间+n次堆调整时间=O(m+nlogm)=O(nlogm) 这里的n为10亿，m为100
10亿个数中找出最大的10000个数（top K问题）
qq_24095055的博客
07-22 3007
原博链接： https://blog.youkuaiyun.com/cbjcry/article/details/84917432 问题引入：10亿个数中找出最大的10000个数（top K问题） top K问题 在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最高的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。例如，在搜索引擎中，统计搜索最热门的10个查询...
1亿个数中找出最大的100个数（top K问题）
周鹏飞的IT学习之路
07-16 6037
如何在1亿个数中找出最大的100个数（top K问题） ​ 最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O（nlogn），如快速排序。但是在32位的机器上，每个float类型占4个字节，1亿个浮点数就要占用400MB的存储空间，对于一些可用内存小于400M的计算机而言，很显然是不能一次将全部数据读入内存进行排序的。其实即使内存能够满足要求（我机器内存都是8GB），该方法也并不高效，因为题目的目的是寻找出最大的10000个数即可，而排序却是将所有的元素
[面试题]海量数据处理-从10亿个数中找频率最高的1000个数
benjamin.li的小屋
01-24 7847
方法一：分治思想 通常比较好的方案是分治+Trie树/hash+小顶堆（就是上面提到的最小堆），即先将数据集按照Hash方法分解成多个小数据集，然后使用Trie树或者Hash统计每个小数据集中的query词频，之后用小顶堆求出每个数据集中出现频率最高的前K个数，最后在所有top K中求出最终的top K。 方法二：hadoop的map,reduce top K问题很适合采用MapReduce
10亿个数选取重复次数最多的100个整数
WEBCODE
11-25 1792
有10亿个整数，要求选取重复次数最多的100个整数 要解答这个问题，首先要弄清楚下面几个条件。 （1）有内存限制吗？ （2）整数的范围是多少？有符号，无符号，32位还是64位？ （3）整数集的内容大吗？（即出现的整数空间的大小大吗？） （4）如果只需要求模糊解，怎么解？ （5）求数组中的第k大元素？ （6）相关问题：求一个整数列中出现次数最多的整数 （7）相关问题：有一个整数数组，...
有10亿个整数，要求选取重复次数最多的100个整数
The night of summer
09-25 4724
转自：http://blog.163.com/tianshuai11@126/blog/static/618945432011101611414734/ 要解答这个问题，首先要弄清楚下面几个条件。  （1）有内存限制吗？  （2）整数的范围是多少？有符号，无符号，32位还是64位？  （3）整数集的内容大吗？（即出现的整数空间的大小大吗？）  （4）如果只需要求模糊解，怎么解？ 
典型的Top K算法_找出一个数组里面前K个最大数...或找出1亿个浮点数中最大的10000个...一个文本文件，找出前10个经常出现的词，但这次文件比较长，说是上亿行或十亿行，总之无法一次读入内存，
boo12355的专栏
09-17 1万+
Top K 算法详解 应用场景：         搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。         假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。
在100G文件中找出出现次数最多的100个IP，要求ip和次数都精确
u010694337的专栏
04-16 3829
1.刚开始自己想的是文件分100个桶，桶里取排序前1000，后来手动证明此算法有误 2.后来想到可以另外取100个文件桶，将ip存到(ip) % 100的桶里。最后对各个文件读入内存，上hashtable即可 ...
多个文本中找到出现频率最高的100个单词
长弓smile的博客
04-03 6297
解决思路： 1.使用newFixedThreadPool构建大小为5的线程池。让线程分别读取不同的文件。 2.使用ConcurrentHashMap对象hashmap作为共享变量，用于存放每个单词出现的频率。 3.采用最小堆在hashmap中找到频率最高的100个数据单词，并打印。 解题步骤： 1、构建Words类，该类定义了单词的拼写和数量。 class Words implem...
Java统计一篇文章中出现次数最多的汉字或英文单词 又出现次数的统计
我的blog
04-09 1万+
直接看代码，特点是用到了：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值