Mapreduce-实验、实践

原创已于 2022-04-17 14:57:03 修改 · 2.5k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #linux

于 2022-04-16 17:21:24 首次发布

大作业专栏收录该内容

5 篇文章

订阅专栏

本文详细介绍了MapReduce实验中的五个关键部分，包括数值概要、计数器、舆情过滤、StackOverflow数据结构操作和数据连接。实践部分着重于combiner的应用、大数据平台使用、布隆过滤器实践、Top10排序以及去重用户操作。这些内容展示了MapReduce在实际项目中的应用和优化策略。

Mapreduce-实验、实践

实验：
实践：

实验：

实验（一）数值概要—中位数与标准差

检查实验环境、运行示例程序。
利用数据概要完成中位数与标准差计算。
数据集可以采用Ctrip数据集，计算内容可自定义。

在这里插入图片描述

实验（二）：MapReduce计数器实验

在给定数据集上完成计数实验，可以用ctrip数据集或50w数据集。

在这里插入图片描述

实验（三）：MapReduce布隆过滤器的舆情过滤

按指定的热点词列表训练布隆过滤器，对舆情数据集进行过滤，过滤后的数据写入HDFS。

在这里插入图片描述

实验（四）StackOverflow数据集的分层操作

构建StackOverflow数据集中问题与回复的分层结构，将贴子与回复关联起来。

在这里插入图片描述

实验（五）： Reduce端连接

用利ctrip数据集，将product_info 与quantity数据集进行连接操作，连接的字段为product_id。

基本思路
(1)：Map端读取所有的文件，并在输出的内容里加上标示，代表数据是从哪个文件里来的。
(2)：在reduce处理函数中，按照标识对数据进行处理。
(3)：然后根据Key去join来求出结果直接输出。

在这里插入图片描述

代码详情

mapreduce-实验

实践：

（实践一）数值概要中combiner的作用

在前述数值概要的运用中，加入不同的combiner，测试不同环境下系统的性能，并给出分析、说明。
检查在内存优化模式下系统性能的区别。

Combiner的作用和用法
①每一个map可能会产生大量的输出，Combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。
②Combiner最基本是实现本地key的归并，Combiner具有类似本地的reduce功能。
如果不用Combiner，那么，所有的结果都是reduce完成，效率会相对低下。
使用Combiner，先完成的map会在本地聚合，提升速度。
注意：Combiner的输出是Reducer的输入，如果Combiner是可插拔的，添加Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致，且不影响最终结果的场景。比如累加，最大值等。

结论：使用combiner先进行本地reduce，它能有效的减少mapper的输出以降低网络和reducer上的压力。另外注意，combine在数据转换上需与reducer等价。就是说，如果去掉combiner，输出应该保持不变。