mapreduce编程实例(6)-求TOP 10

最新推荐文章于 2022-05-03 20:17:12 发布
原创 最新推荐文章于 2022-05-03 20:17:12 发布 · 1.9k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mapreduce #数据结构 #编程

本文通过MapReduce实现了一个案例，旨在找出网站会员中积分最高的前10位用户。程序利用XML文件作为输入数据，并在map阶段采用自定义的cleanup函数和TreeMap数据结构，TreeMap保证了数据按积分自动排序，当元素数量超过10时，移除最小值以保持Top 10的结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在网站会员中，会员积分不同。此程序是求Reputation最高的10个用户。用的测试文件为users.xml（见本系列第一节云盘地址）

代码如下

package mrdp.ch3;

import java.io.IOException;
import java.util.Map;
import java.util.TreeMap;

import mrdp.utils.MRDPUtils;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;

public class TopTenDriver {

	public static class SOTopTenMapper extends
			Mapper<Object, Text, NullWritable, Text> {
		// Our output key and value Writables
		private TreeMap<Integer, Text> repToRecordMap = new TreeMap<Integer, Text>();

		@Override
		public void
最低0.47元/天 解锁文章

200万优质内容无限畅学
MapReduce编程实例（一）
大T的专栏
11-13 3万+
前提准备： 1.hadoop安装运行正常,请参考 2.集成开发环境正常，请参考Ubuntu 搭建Hadoop源码阅读环境 开发示例：WordCount 本示例详细的介绍如何在集成环境中运行第一个MapReduce程序 WordCount
MapReduce之Top10
zhangdy12307的博客
04-20 4077
MapReduce之Top10 模式描述 Top10顾名思义不管输入数据的大小是多少，都以精准的输出按照规则的前10个结果，在普通的过滤模式中，输出数据的数量有输入数据决定 目的 无论数据集的大小如何，根据数据集的排序方案，得到一个相对较小的topK记录 适用场景 异类分析 选取感兴趣的数据 引人注目的指示版面 微博热搜 性能分析 Top10模式的性能通常是非常好的，不过需要注意的是，不管这个...
Hadoop那些事儿（四）---MapReduce编程实例(基础)
热门推荐
02-17 1万+
前言上一篇文章，以WordCount为例讲了一下MapReduce的代码结构及运行机制，这篇文章将通过几个简单的例子进一步认识MapReduce。1.数据检索问题描述假设有很多条数据，我们从中查找包含某个字符串的语句。解决方案这个问题比较简单，首先在Map中获取当前读取的文件的文件名作为key,将要解析的数据按句号分割，逐句判断，如果包含指定的字符串则作为value输出。在Reduce中对属于同一文
MapReduce编程实例
1.02^365=1377.41
05-04 2796
需求输入文件：文本文件 每行格式： <source> <destination> <time> 3个部分由空格隔开 其中source和destination为两个字符串，内部没有空格 time为一个浮点数，代表时间（秒为单位） 涵义：可以表示一次电话通话，或表示一次网站访问等 输入可能有噪音： 如果一行不符合上述格式，应该被丢弃，程序需要正确执行 MapReduce计算：统计每对sourc
MapReduce操作实例-TopN.pdf
07-11
在MapReduce操作实例中，TopN问题通常是指找出数据集中出现频率最高的N个元素。...通过这个MapReduce TopN实例，我们可以了解到如何利用Hadoop处理大数据集中的TopN问题，同时也展示了Java编程在Hadoop生态中的应用。
大数据之Hadoop学习——动手实战学习MapReduce编程实例
lzw2016的博客
12-09 8006
文章目录一、MapReduce编程实例1.自定义对象序列化需求分析报错：Exception in thread &amp;amp;amp;amp;quot;main&amp;amp;amp;amp;quot; java.lang.IllegalArgumentException: Wrong FS: hdfs://192.168.17.10:9000/workspace/flowStatistics/output, expected: file:///解答一、正常处理即可，不过在...
MapReduce----3.MapReduce 典型编程场景
XiaodunLP的博客
02-02 278
1、MapReduce 多 Job 串联 1.1、需求 一个稍复杂点的处理逻辑往往需要多个 MapReduce 程序串联处理，多 job 的串联可以借助 MapReduce 框架的 JobControl 实现 1.2、实例 以下有两个 MapReduce 任务，分别是 Flow 的 SumMR 和 SortMR，其中有依赖关系：SumMR 的输出是 SortMR 的输入，所以 SortMR...
MapReduce编程实例浅析
09-01
MapReduce编程实例浅析,讲述如何进行M/R程序开发。
MapReduce编程之求Top3（TopN）
11-26
已知有若干个文件（多个），文件中包含若干个正整数，每行一个，示例如下： 45 3 78 456 70 1 999 。。。 编写MR程序分别求解所有文件中最大的三个值（TOP 3）
MapReduce 编程实战
zhiwenganyong的博客
06-17 1852
MapReduce 采用了「分而治之」的思想。在分布式计算中，MapReduce 框架负责处理并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数：map，把一个任务分解成多个任务；reduce，将任务的处理结果汇总。MapReduce 处理的数据集（或任务）必须具备这样的特点：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。 在 Hadoop 中，每个 MapReduce 任务都被初始化为一个 Job，每个
(三)MapReduce编程实例
黎明的专栏
04-13 601
MapReduce编程实例： MapReduce编程实例（一）,详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析 MapReduce编程实例（二），计算学生平均成绩 MapReduce编程实例（三），数据去重 MapReduce编程实例（四），排序 MapReduce编程实例（五），MapReduce实现单表关联
三、MapReduce编程实例
m0_52426915的博客
11-05 2363
MapReduce编程实例 文章目录MapReduce编程实例前言注意事项单词统计 WordCountMapReduce 经典案例——倒排索引MapReduce 经典案例——数据去重MapReduce 经典案例——TopN 前言 简介 讲解_Hadoop 中文网 Hadoop测试项目：HadoopDemo 注意事项 如果下载了HadoopDemo作为测试，用到HDFS_CRUD.java 需要提前准备winutils。最好对应版本。 单词统计 WordCount WordCountMapper.java p
(五)MapReduce编程实例
黎明的专栏
04-13 777
基本步骤 一:创建一个mapper源表blog hbase(main):006:0> create 'blog','article','author' 0 row(s) in 2.7330 seconds blog表，初步有article和author两个family article具有如下qualifier[content,tags,title]
MapReduce编程实例（五）
大T的专栏
11-24 5907
前提准备： 1.hadoop安装运行正常。Hadoop安装配置请参考：Ubuntu下 Hadoop 1.2.1 配置安装 2.集成开发环境正常。集成开发环境配置请参考 ：Ubuntu 搭建Hadoop源码阅读环境 MapReduce编程实例： MapReduce编程实例（一）,详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析
MapReduce编程实例——WordCount
鱼爻
04-24 2024
创建MapReduce项目 基于Eclipse的 结构图如下： MapReduce实例 计算单词数 的jar包 创建class Wcjob package cn.edu.gznc.wc; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.had...
MapReduce编程实例（三）
大T的专栏
11-21 8090
前提准备： 1.hadoop安装运行正常。Hadoop安装配置请参考：Ubuntu下 Hadoop 1.2.1 配置安装 2.集成开发环境正常。集成开发环境配置请参考 ：Ubuntu 搭建Hadoop源码阅读环境 MapReduce编程实例： MapReduce编程实例（一）,详细介绍在集成环境中运行第一个MapReduce程序 WordCount及代码分析
MapReduce编程实例————词频统计
weixin_48437766的博客
05-03 1000
MapReduce编程实例————词频统计 过程 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4
mapreduce编程组件
最新发布
04-02
### MapReduce编程组件的使用说明 MapReduce是一种分布式计算框架，用于大规模数据集的并行处理。其核心由五个主要编程组件构成：`InputFormat`、`Mapper`、`Partitioner`、`Reducer` 和 `OutputFormat`[^1]。 #### InputFormat 该组件定义了输入数据如何被分割成多个片段（split），以及这些片段如何转换为键值对的形式供后续处理。通常情况下，默认实现已经能够满足大多数需求，因此开发者无需额外定制此部分。 #### Mapper Mapper负责具体的数据处理逻辑。对于每一组键值对，都会调用一次`map()`方法来完成相应的操作。在实际应用中，比如经典的词频统计场景，可以通过自定义Mapper类中的`map()`函数实现逐行读取文本文件，并将其拆分为单词作为新的键值对输出[^3][^4]。 以下是基于Java的一个简单示例代码展示如何构建一个基本的Mapper： ```java public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line.toLowerCase()); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); context.write(word, one); } } } ``` #### Partitioner 分区器决定了中间结果中的键应该发送给哪个Reducer实例进行进一步聚合运算。如果未特别设置，则采用哈希算法均匀分配各个记录至不同的reducer节点上。 #### Reducer 接收来自mapper端产生的相同key的所有values集合之后再做最后一步汇总工作。同样以wordcount为例来说就是把同一个词语出现次数加总起来形成最终的结果形式返回出去. 下面给出一段关于reduce过程的具体实现: ```java public class WordCountReducer extends Reducer<Text,IntWritable,Text,IntWritable> { public void reduce(Text key, Iterable<IntWritable> values,Context context)throws IOException ,InterruptedException{ int sum=0; for(IntWritable val : values){ sum +=val.get(); } context.write(key,new IntWritable(sum)); } } ``` #### OutputFormat 它规定了作业完成后所产生的输出应当怎样存储下来；就像前面提到过的那样如果没有特殊要求的话那么就按照既定模式来进行保存就可以了。 通过上述介绍可以看出整个流程大致可以概括如下几个方面: - 数据源加载(`InputFormat`) - 初步解析与转化(`Mapper`) - 中间产物重新分布安排(`Partitioner`) - 合并与总结(`Reducer`) - 结果持久化储存(`OutputFormat`) 为了便于理解和实践这里还列举了一些常见的应用场景及其对应的解决方案链接[^2]: - **单词计数**: 这是最基础也是最典型的例子之一. - **倒排索引建设** - **去除重复项** - **获取最高频率条目(Top N)**
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值