怎样从10亿查询词找出出现频率最高的10个

最新推荐文章于 2021-03-23 08:39:05 发布
转载 最新推荐文章于 2021-03-23 08:39:05 发布 · 3.4k 阅读 · 12
文章标签：

#hashmap #算法 #mapreduce #扩展 #搜索引擎 #多线程

本文介绍了解决TopK问题的不同场景下的多种策略，包括单机单核足够内存、单机多核足够内存、单机单核受限内存及多机受限内存情况下的处理方法，并讨论了MapReduce框架的应用。

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/big-data/select-ten-from-billions/

1． 问题描述

在大规模数据处理中，常遇到的一类问题是，在海量数据中找出出现频率最高的前K个数，或者从海量数据中找出最大的前K个数，这类问题通常称为“top K”问题，如：在搜索引擎中，统计搜索最热门的10个查询词；在歌曲库中统计下载率最高的前10首歌等等。

2． 当前解决方案

针对top k类问题，通常比较好的方案是【分治+trie树/hash+小顶堆】，即先将数据集按照hash方法分解成多个小数据集，然后使用trie树或者hash统计每个小数据集中的query词频，之后用小顶堆求出每个数据集中出频率最高的前K个数，最后在所有top K中求出最终的top K。

实际上，最优的解决方案应该是最符合实际设计需求的方案，在实际应用中，可能有足够大的内存，那么直接将数据扔到内存中一次性处理即可，也可能机器有多个核，这样可以采用多线程处理整个数据集。

本文针对不同的应用场景，介绍了适合相应应用场景的解决方案。

3． 解决方案

3.1 单机+单核+足够大内存

设每个查询词平均占8Byte，则10亿个查询词所需的内存大约是10^9*8=8G内存。如果你有这么大的内存，直接在内存中对查询词进行排序，顺序遍历找出10个出现频率最大的10个即可。这种方法简单快速，更加实用。当然，也可以先用HashMap求出每个词出现的频率，然后求出出现频率最大的10个词。

3.2  单机+多核+足够大内存

这时可以直接在内存中实用hash方法将数据划分成n个partition，每个partition交给一个线程处理，线程的处理逻辑是同3.1节类似，最后一个线程将结果归并。

该方法存在一个瓶颈会明显影响效率，即数据倾斜，每个线程的处理速度可能不同，快的线程需要等待慢的线程，最终的处理速度取决于慢的线程。解决方法是，将数据划分成c*n个partition（c>1），每个线程处理完当前partition后主动取下一个partition继续处理，直到所有数据处理完毕，最后由一个线程进行归并。

3.3  单机+单核+受限内存

这种情况下，需要将原数据文件切割成一个一个小文件，如，采用hash(x)%M，将原文件中的数据切割成M小文件，如果小文件仍大于内存大小，继续采用hash的方法对数据文件进行切割，直到每个小文件小于内存大小，这样，每个文件可放到内存中处理。采用3.1节的方法依次处理每个小文件。

3.4  多机+受限内存

这种情况下，为了合理利用多台机器的资源，可将数据分发到多台机器上，每台机器采用3.3节中的策略解决本地的数据。可采用hash+socket方法进行数据分发。

从实际应用的角度考虑，3.1~3.4节的方案并不可行，因为在大规模数据处理环境下，作业效率并不是首要考虑的问题，算法的扩展性和容错性才是首要考虑的。算法应该具有良好的扩展性，以便数据量进一步加大（随着业务的发展，数据量加大是必然的）时，在不修改算法框架的前提下，可达到近似的线性比；算法应该具有容错性，即当前某个文件处理失败后，能自动将其交给另外一个线程继续处理，而不是从头开始处理。

Top k问题很适合采用MapReduce框架解决，用户只需编写一个map函数和两个reduce 函数，然后提交到Hadoop（采用mapchain和reducechain）上即可解决该问题。对于map函数，采用hash算法，将hash值相同的数据交给同一个reduce task；对于第一个reduce函数，采用HashMap统计出每个词出现的频率，对于第二个reduce 函数，统计所有reduce task输出数据中的top k即可。

4． 总结

Top K问题是一个非常常见的问题，公司一般不会自己写个程序进行计算，而是提交到自己核心的数据处理平台上计算，该平台的计算效率可能不如直接写程序高，但它具有良好的扩展性和容错性，而这才是企业最看重的。

5． 参考资料

《十道海量数据处理面试题与十个方法大总结》：http://blog.youkuaiyun.com/v_JULY_v/archive/2011/03/26/6279498.aspx

原创文章，转载请注明： 转载自董的博客

本文链接地址: http://dongxicheng.org/big-data/select-ten-from-billions/

海量数据处理 - 10亿个数中找出最大的10000个数（top K问题）
jacke121的专栏
03-31 2715
海量数据处理 - 10亿个数中找出最大的10000个数（top K问题） 问题：先拿10000个数建最小堆，然后依次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。建堆时间复杂度是O（mlogm），算法的时间复杂度为O（nmlogm）（n为10亿，m为10000）。 ...
海量数据处理:有1亿个浮点数,找出其中最大的10000个
李俊标的博客
06-15 5271
第一种方法是将数据全部排序,然后在排序后的集合中进行查找,最快的排序算法的时间复杂度一般为O(nlogn),例如快速排序.而在32位机器上,每个float类型占4B,1亿个浮点数就要占用400M的存储空间,对于一些可以内存小于400MB的计算机而言,显然是不能一次将全部数据读入内存进行排序的.其实即使内存能满足要求,该方法也不高效,因为题目的目的是寻找出最大的10000个数即可,而排序是将所有元素...
从亿级数据量的url中找出出现次数最多的前十个url
lzf的博客
10-12 2215
流程： mapToPair + reduceByKey：计算每个url的出现次数； mapToPair + sortByKey：反转PairRDD，按照降序的方式对url的出现次数进行排序； take()：获取前十个url。 sparkConf.put("es.resource", indexName + "/" + indexType); sparkConf....
一个文本文件，找出前10个经常出现的词，但这次文件比较长，说是上亿行或十亿行，总之无法一次读入内存
leone911的博客
12-12 2030
Top K 算法详解 应用场景：         搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。         假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。
从十亿数据中找出出现最多的数以及出现次数
苏湘的专栏
10-13 8191
package org.example.bigdata; import java.util.Collections; import java.util.HashMap; import java.util.LinkedList; import java.util.List; import java.util.Map; public class TopTimes { public static
TOPK算法
templarzq的专栏
04-17 478
https://my.oschina.net/zlb1992/blog/1486831
Topk算法
m0_46656833的博客
03-23 4796
topK算法 思路1： 可以采用快速选择算法，借助快排，设mid为每次划分中间结果,每次划分完之后如果mid==k，则说明序列刚刚好，第k位置和他前面的位置都是前K大的数，如果mid < k，则说明第K大的元素在后半部分，则前半部分肯定是前K大的数，只需从后半部分找k - mid大的数即可，否则如果mid > k，则说明第K大的数在前半部分，只需从前半部分找前K大的数字即可。 时间复杂度：假设每次划分的mid都在中间，每层都只是对一半做划分,所以每次划分的数据量为 n,n/2,n/4,n/8…一
海量数据处理：如何从10亿个数中，找出最大的10000个数？（top K问题）
热门推荐
寒泉
08-28 7万+
一、问题 有 10 亿个不重复的数字，内存中只能放进 1 万个数，怎么找到最大的 10 万个数字？ 这道题的思路是，先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所需的最大的10000个。 复杂度分析 建堆时间复杂度是O(m)，堆调整的时间复杂度是O(logm)，最终时间复杂度等于，1次建堆时间+n次堆调整时间=O(m+nlogm)=O(nlogm) 这里的n为10亿，m为100
10亿个数中找出最大的10000个数（top K问题）
qq_24095055的博客
07-22 3109
原博链接： https://blog.youkuaiyun.com/cbjcry/article/details/84917432 问题引入：10亿个数中找出最大的10000个数（top K问题） top K问题 在大规模数据处理中，经常会遇到的一类问题：在海量数据中找出出现频率最高的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。例如，在搜索引擎中，统计搜索最热门的10个查询...
1亿个数中找出最大的100个数（top K问题）
周鹏飞的IT学习之路
07-16 6179
如何在1亿个数中找出最大的100个数（top K问题） ​ 最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O（nlogn），如快速排序。但是在32位的机器上，每个float类型占4个字节，1亿个浮点数就要占用400MB的存储空间，对于一些可用内存小于400M的计算机而言，很显然是不能一次将全部数据读入内存进行排序的。其实即使内存能够满足要求（我机器内存都是8GB），该方法也并不高效，因为题目的目的是寻找出最大的10000个数即可，而排序却是将所有的元素
如何从1000000个数中找出出现次数最多的50个数
10-16
如何从1000000个数中找出出现次数最多的50个数
TopK算法
CoderZhuuu
09-25 1518
需要先在 "testData.txt" 文件里面输入M和N 比如2000 10 通过最小堆实现TopK 最小堆通过数组模拟二叉树来实现 #pragma warning(disable:4996) #pragma once #include <fstream> #include <ctime> const char* FILEIN = "testData.txt...
topK 算法
weixin_34378045的博客
04-06 163
搜索引擎热门查询统计 题目描述：    搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。    假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。 分析： 这个问题在之前...
上机实验内容：集群计算Spark 上机实验地点：综合教学楼0909 上机实验日期：6月6日 上机实验目的： 掌握三个典型应用案例的设计：词频数统计、人口的平均年龄、搜索频率最高的K个关键词（2学时） 上机实验过程记录（须每节课填写）：大数据实验 简单一点重点一点
最新发布
06-20
<think>首先，用户的问题是：“我想了解Spark集群计算的上机实验内容，重点掌握三个典型应用案例的设计：词频统计、人口平均年龄和搜索频率最高的K个关键词。请问Spark集群计算实验内容词频统计平均年龄频率最高关键词大数据实验”用户要求了解Spark集群计算的上机实验内容，特别是三个案例：词频统计、人口平均年龄和搜索频率最高的K个关键词。用户还提到“大数据实验”，所以我需要围绕这些提供清晰的结构化回答。从系统级指令：-所有行内数学表达式必须使用$...$格式。-独立公式使用$$...$$格式并单独成段。-LaTeX语法正确。-使用中文回答。-生成相关问题。-回答中引用的段落末尾自然地添加引用标识，例如[^1]。用户可见层：回答结构清晰，帮助用户逐步解决问题，保证真实可靠。参考站内引用：这些引用是关于Spark案例的，我应该参考它们来构建回答。引用包括：-[^1]:WordCount案例。-[^2]:平均年龄案例。-[^3]:搜索频率最高的K个关键词案例。-[^4]:执行命令示例。-[^5]:集群环境介绍。用户的问题是基于这些引用，所以我需要整合这些信息。回答结构：1.**介绍Spark集群计算实验**：简要说明实验目的和背景。2.**三个案例详解**：逐个解释词频统计、人口平均年龄、搜索频率最高的K个关键词的设计。-每个案例包括：问题描述、设计思路、关键步骤、代码片段（如果适用）。-使用代码块展示代码，因为用户提到了示例。3.**实验环境**：参考引用[^5]，描述集群设置。4.**生成相关问题**：在最后添加相关问题部分。确保回答真实可靠：基于引用和Spark知识。使用中文回答。数学表达式：如果涉及，比如平均年龄计算，使用$...$或$$...$$格式。例如，平均年龄可能涉及计算平均值的公式：$\text{平均年龄}=\frac{\sum\text{年龄}}{n}$。步骤：1.**词频统计案例**：-描述：统计文件中单词出现次数。-设计：使用Spark的map和reduce操作。-参考引用[^1]和[^4]。-代码：提供类似Python或Scala代码片段。2.**人口平均年龄案例**：-描述：统计大量人口的平均年龄。-设计：读取文件，计算总和和计数。-公式：平均年龄=总和/计数。-参考引用[^2]。3.**搜索频率最高的K个关键词案例**：-描述：找出频率最高的K个词。-设计：使用reduceByKey和top操作。-参考引用[^3]。最后，生成相关问题。完整回答结构：-开头介绍。-词频统计部分。-平均年龄部分。-最高频率关键词部分。-实验环境说明。-相关问题。</think>### Spark集群计算上机实验内容介绍 Spark是一个分布式计算框架，广泛应用于大数据处理。上机实验旨在帮助学习者掌握Spark的核心概念和编程技巧，通过三个典型应用案例（词频统计、人口平均年龄、搜索频率最高的K个关键词）的设计与实践，强化集群计算能力。实验基于真实大数据场景，使用Scala或Python编写Spark程序，并在集群环境中运行（如Standalone模式或YARN）。参考引用[^5]，实验环境通常包括一个Spark集群（例如：一个Master节点和多个Worker节点），数据存储在HDFS上，支持通过Web UI（如`http://<spark_master_ip>:8080`）监控任务执行。下面，我将逐一解析这三个案例的设计内容，确保步骤清晰、代码可靠。 --- ### 1. 词频统计案例 词频统计（Word Count）是Spark入门级案例，用于统计文本文件中每个单词的出现次数。它演示了分布式数据处理的基本操作：映射（map）和归约（reduce）。 #### 设计思路 - **问题描述**：读取多个文本文件，统计所有单词的词频。输入文件格式如引用[^1]所示，单词可能大小写不一致，需统一处理。 - **关键步骤**： 1. **读取数据**：从HDFS加载文本文件。 2. **清洗与映射**：将每行文本分割为单词，统一转为小写。 3. **归约统计**：对每个单词计数，并汇总结果。 4. **输出**：保存词频结果到文件或控制台。 - **性能优化**：通过分区（partitioning）提高并行度，减少shuffle开销。 #### 代码示例（Scala实现） 以下代码基于Spark RDD API，参考引用[^4]的执行命令： ```scala import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("WordCount") val sc = new SparkContext(conf) // 读取HDFS文件（例如：hdfs://hadoop036166:9000/user/fams/*.txt） val textFile = sc.textFile(args(0)) // 映射：分割单词并转为小写 val words = textFile.flatMap(line => line.split("\\W+").filter(_.nonEmpty).map(_.toLowerCase)) // 归约：计数每个单词 val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _) // 输出结果（保存到HDFS或打印） wordCounts.saveAsTextFile(args(1)) sc.stop() } } ``` **实验要点**： - 输入文件路径通过命令行参数传入（如`args(0)`）。 - 使用`reduceByKey`进行高效聚合，避免内存溢出。 - 实验可扩展：处理大文件时（如1GB以上），通过调整分区数优化性能（例如：`textFile.repartition(100)`）[^1]。 --- ### 2. 人口平均年龄案例 该案例用于计算大规模人口数据的平均年龄，演示Spark的聚合操作（如求和与计数），适合处理数值型数据。 #### 设计思路 - **问题描述**：输入文件包含ID和年龄列（格式如引用[^2]），统计所有记录的平均年龄。数据规模可达千万或亿级，需高效处理。 - **关键步骤**： 1. **读取数据**：解析文件，提取年龄字段。 2. **计算总和与计数**：使用map和reduce操作聚合年龄总和及记录数。 3. **计算平均值**：平均年龄公式为： $$ \text{平均年龄} = \frac{\sum_{i=1}^{n} \text{age}_i}{n} $$ 其中，$n$ 是总记录数，$\sum \text{age}_i$ 是年龄总和。 4. **处理异常**：过滤无效年龄（如负数）。 - **性能优化**：利用Spark的惰性求值（lazy evaluation）减少中间数据存储。 #### 代码示例（Python实现，使用PySpark） ```python from pyspark.sql import SparkSession # 初始化Spark会话 spark = SparkSession.builder.appName("AverageAge").getOrCreate() # 读取数据（假设文件格式：ID,Age） data = spark.read.text("hdfs://hadoop036166:9000/user/age_data.txt") # 解析每行：分割并提取年龄 ages = data.rdd.map(lambda line: line.value.split(",")[1].strip()) \ .filter(lambda age: age.isdigit()) \ # 过滤无效值 .map(int) # 转为整数 # 计算总和与计数 total_age = ages.sum() count = ages.count() # 计算平均年龄 if count > 0: average_age = total_age / count print(f"平均年龄: {average_age}") else: print("无有效数据") spark.stop() ``` **实验要点**： - 使用RDD或DataFrame API，后者性能更优（如`spark.read.csv`直接解析CSV）。 - 大规模数据（如1亿人口）时，通过增加Executor资源（如`--executor-memory 4g`）避免OOM错误[^2]。 - 实验验证：输出结果应与小样本手动计算一致。 --- ### 3. 搜索频率最高的K个关键词案例 此案例用于分析搜索日志，找出频率最高的K个关键词，涉及排序和Top-K查询，演示Spark的高级操作（如`top`或`reduceByKey`）。 #### 设计思路 - **问题描述**：输入文件包含关键词序列（格式如引用[^3]），关键词大小写不一且重复出现。输出前K个高频词。 - **关键步骤**： 1. **读取与清洗**：统一关键词大小写，过滤空值。 2. **词频统计**：类似Word Count，但需额外处理词组（如用空格分隔）。 3. **Top-K查询**：使用`takeOrdered`或`top`函数获取前K个高频词。 4. **输出**：格式化结果。 - **性能优化**：在reduce阶段使用combiner减少网络传输，或使用广播变量存储K值。 #### 代码示例（Scala实现） ```scala import org.apache.spark.{SparkConf, SparkContext} object TopKeywords { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("TopKKeywords") val sc = new SparkContext(conf) val k = args(1).toInt // K值通过参数传入 // 读取文件（例如：hdfs://hadoop036166:9000/user/search_logs.txt） val logs = sc.textFile(args(0)) // 清洗：分割关键词，统一小写 val keywords = logs.flatMap(line => line.split("\\s+").filter(_.nonEmpty).map(_.toLowerCase)) // 统计词频 val keywordCounts = keywords.map(word => (word, 1)).reduceByKey(_ + _) // 获取前K个高频词（按计数降序） val topK = keywordCounts.takeOrdered(k)(Ordering[Int].reverse.on(_._2)) // 输出结果 topK.foreach { case (word, count) => println(s"$word: $count") } sc.stop() } } ``` **实验要点**： - 参数`k`可动态调整（如K=10）。 - 处理词组时，需自定义分割逻辑（例如：用正则表达式匹配词组）。 - 实验扩展：添加停用词过滤（如忽略“the”、“and”）以提升准确性[^3]。 --- ### 实验环境与执行 - **集群设置**：基于引用[^5]，实验环境为Standalone模式Spark集群（如1个Master + 3个Worker），HDFS存储数据。提交任务命令示例： ```bash ./spark-submit \ --class com.example.TopKeywords \ --master spark://hadoop036166:7077 \ --num-executors 3 \ --executor-memory 2g \ /path/to/your.jar \ hdfs://hadoop036166:9000/user/input.txt \ 10 # K值 ``` - **注意事项**： - 确保HDFS文件路径正确，文件格式如引用所示（如年龄文件为ID,Age）。 - 监控任务：通过Spark Web UI（`http://hadoop036166:8080`）查看日志和执行进度。 - 数据规模：从小数据集（如MB级）开始测试，逐步扩展到GB级以验证集群性能。 - **学习目标**：通过这三个案例，掌握Spark的RDD/DataFrame操作、分布式算法设计，以及性能调优技巧，为大数据应用打下基础[^5]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值