MapReduce的编程开发——求平均值

最新推荐文章于 2024-05-17 16:48:52 发布
最新推荐文章于 2024-05-17 16:48:52 发布
阅读量3.6k 收藏 20
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： 大数据 mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Comet_sgf/article/details/113454047
本文是关于使用Hadoop MapReduce进行平均值计算的学习笔记，详细介绍了环境配置，包括Linux Ubuntu 16.04上的Hadoop 3.0.0启动，Eclipse的Hadoop集成设置。通过编写Score.java程序，实现了读取数据文件，计算并输出平均值的结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

前言

本文主要是学习MapReduce的学习笔记，对所学内容进行记录。
实验环境：
1.Linux Ubuntu 16.04

2.hadoop3.0.0

3.eclipse4.5.1

一、启动Hadoop

  1. 进入Hadoop启动目录cd /apps/hadoop/sbin
  2. 启动Hadoop./start-all.sh
  3. 输入‘jps’，启动后显示如下信息
    在这里插入图片描述

二、环境搭配

  1. 打开eclipse->Window->Preferences;

  2. 选择Hadoop Map/Reduce,选择Hadoop包根目录，/apps/hadoop，点击Apply，点击OK;

  3. 点击window–>show view–>other–>mapreduce tools–>map/reduce locations，之后页面会出现对应的标签页；
    界面

  4. 点击3中图标1，在Local name输入myhadoop，在DFS Master 框下Port输入8020，点击Finish，出现3中右侧页面；
    在这里插入图片描述

  5. 点击3中

  6. 图标2，选择下图内容，出现第3步图中左侧内容
    在这里插入图片描述
    完成环境配置环境。

三、求平均值

  1. 新建test项目，新建average包，图片步骤可见“排序”；
  2. 新建Score类，即Score.java，编写并保存如下代码：
package average;

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
最低0.47元/天 解锁文章

200万优质内容无限畅学
mapreduce计算平均值
smallpizza的博客
09-17 4693
当我们有每一位同学的每一科成绩时，我们计算他们的平均成绩，用传统的方法比较麻烦，如果我们用hadoop中MapReduce组件的话就比较简单了。 测试数据如下： 代码如下：import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer;import org.apache.hadoo
MapReduce之求平均值
Peanut_508的博客
10-30 2398
给定文件信息求文件内容的平均值算法 <1>Map端读取文件信息内容 在读取文件信息内容时，首先对文件信息进行切分，将文件切分为key和value，便于文件信息的计算 public class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{ @Override protected ...
头歌-第1关：MapReduce的编程开发-求平均值
2301_79646631的博客
04-02 3420
平均值有算术平均值，几何平均值，平方平均值（均方根平均值，rms），调和平均值，加权平均值等。其中以算术平均值最为常见。算术平均数，又称均值，是统计学中最基本、最常用的一种平均指标，分为简单算术平均数、加权算术平均数。它主要适用于数值型数据，不适用于品质数据。根据表现形式的不同，算术平均数有不同的计算形式和计算公式。求平均数是 MapReduce 比较常见的简单算法，使用 Map 端读取数据传入至 Reduce 端，在从 Reduce 端汇总并且统计总值与数量，将两值作商即可得出平均数。
Hadoop入门（二十二）Mapreduce的求平均值程序
茅坤宝骏氹的博客
10-20 3064
一、简介 求平均值是统计中最常使用到的，现在使用Mapreduce在海量数据中统计数据的求平均值。 二、例子 （1）实例描述 给出三个文件，每个文件中都存储了若干个数值，求所有数值中的求平均值。 样例输入： 1）file1： 1 2 3 7 9 -99 2 2）file2： 1...
MapReduce编程实例（一）-求平均数
03-10 2777
开始学习写一些MR编程实例，工作中即将使用(刚刚开始，如果有错误和建议，欢迎指出） 现在有一个文件，里面记录了全校所有学生各科成绩，求每个学生的平均成绩，格式如下 小明 语文 92 小明 数学 88 小明 英语 90 小强 语文 76 小强 数学 66 小强 英语 80 小木 语文 60 小木 数学 65 小木 英语 61 解决思路 Map阶段先将数据拆成k
MapReduce案例2——求学生平均成绩
jin6872115的博客
03-16 5318
题目：计算学生考试平均成绩 源数据： 张三 98 李四 96 王五 95 张三 90 李四 92 王五 99 张三 80 李四 90 王五 94 张三 82 李四 92 最终答案： 张三 98 李四 87 王五 86 上面的答案仅是格式，非正确数据思路：姓名作为key，成绩作为value，在map分组，在reduce中求平均值类似于SQL中的select name, avg(score) ...
MapReduce案例1——求学生成绩普通版
jin6872115的博客
03-16 2046
使用MapReduce求学生成绩：基础版computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85computer,huanglei,99computer,liujialing,85computer,liuyifei,75computer,huangdatou,48computer,huangj...
MapReduce实例编程之求平均数（不用eclipse插件详解）
monkey-jie的博客
10-24 882
由于本人的环境有点问题，无法正常使用hadoop的eclipse的插件，所以在导入jar包到eclipse的过程中遇到了很多坑，这里想给大家分享一下经验，让跟我同样境遇的人少踩坑，以快速上手自己的第一个MapReduce程序。 一、导入hadoop的jar包到eclipse中 1、新建java project（这个很容易，就不赘述了） 2、准入导入jar包：右击新建的项目，点Build Pa...
MapReduce求平均值
热门推荐
lavimer
01-28 1万+
一：背景 求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，Reduce端汇总并且统计记录数，然后作商即可。 二：技术实现 #需求：现有成绩单如下，求出每个同学的平均成绩 小民 语文 80 小民 数学 98 小民 英语 89 小芳 语文 88 小芳 数学 99 小芳 英语 90 实现代码： public class Averag
Mapreduce实例（三）：求平均值
Bee_Darker的博客
06-02 4653
任务目标 1.准确理解Mapreduce求平均值的设计原理 2.熟练掌握Mapreduce求平均值程序的编写 3.学会编写Mapreduce求平均值程序代码解决问题
MapReduce求平均值示例程序
05-16
MapReduce求平均值示例程序，并且程序里利用了logger类，可以将调试信息输出到mapreduce的日志，可以根据输出信息了解运行机制
使用map、reduce求平均值
03-03
使用Spark算子map、reduce相结合求平均值
MapReduce求行平均值--MapReduce案例
11-22
MapReduce求取行平均值 MapReduce小实例 数据有经过处理已经添加行号的 也有未添加的 行平均值的四种求法
Mapreduce实例（二）：求平均值
笑看风云路的博客
05-31 3787
MR 实现 求平均值实现思路编写代码Mapper代码Reducer代码完整代码 大家好，我是风云，欢迎大家关注我的博客 或者 微信公众号【笑看风云路】，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！ 实现思路 求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之前先经过shuffle，将map函数输出的key值相同的所有的value值形成一个集合value-list，然后将输入到Reduce端，Reduce
使用Hadoop MapReduce计算成绩平均值
zfxxzh的博客
05-17 3333
Hadoop MapReduce是一个分布式计算框架，常用于处理大规模数据集。本篇博客将介绍如何使用Hadoop MapReduce计算学生科目成绩的平均值。我们将通过编写Map和Reduce两个类来实现这个功能。通过以上步骤，我们成功编写了一个使用Hadoop MapReduce计算各科目成绩平均值的程序，并将打印结果输出到hdfs路径中。通过这种方式，我们可以方便地处理大规模的科目成绩数据，并计算出平均值。希望本篇博客对小伙伴们有所帮助！如果有任何问题或建议，请随时提出。
MapReduce 基础案例 之 平均值 计算
努力吧闫小胖的博客
09-05 2510
平均值计算 平均值的计算是对相同属性的一堆值，进行取平均。常见的如平均成绩、平均温度。 思想 平均值的计算其实是在MapReduce入门案例词频统计wordcount的基础上，再进化一步。 词频统计wordcount。是在Map阶段将每个单词作为key。value固定值为1。在Reduce阶段，将多个1相加，得到词频。 平均值计算，是在Map阶段将属性作为key，同一个属性的值作为val...
MapReduce编程(四) 求均值
1.02^365=1377.41
03-31 2430
MapReduce编程统计学生成绩的平均值，StringTokenizer和Split的用法对比
MapReduce编程开发之求平均成绩
feinifi的博客
09-02 9442
MapReduce计算平均成绩是一个常见的算法，本省思路很简单，就是将每个人的成绩汇总，然后做除法，在map阶段，是直接将姓名做key,分数作为value输出。在shuffle阶段，会将每个人的所有成绩做汇总，数据结构变为<name,<score1,score2...>>这样子，我们在reduce阶段就通过分数这个value-list来结算平均分。average =...
mapreduce编程求平均数
最新发布
01-07
### 使用MapReduce编程实现求平均数 在MapReduce框架下，计算平均值的过程涉及两个主要阶段：`Map` 和 `Reduce`。为了完成这一目标，通常会先通过映射函数处理输入数据集中的每一项记录，将其转换成键值对的形式；之后利用规约函数来聚合这些中间结果，并最终得到所需的统计数据。 #### Map 阶段 对于每一条输入的数据行，map 函数解析该条目并将它转化为一对或多对(key,value)，其中key可以是任意标识符（比如"average"），value则是具体的数值加上计数器1表示当前样本的数量。这样做的目的是为了让后续reduce过程能够区分不同类型的统计量以及累积次数信息[^2]。 ```java public class AverageMapper extends Mapper<LongWritable, Text, Text, IntSumPair> { private static final String AVG_KEY = "avg"; @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { int num = Integer.parseInt(value.toString()); context.write(new Text(AVG_KEY), new IntSumPair(num, 1)); } } ``` 这里定义了一个名为`IntSumPair`的类用于存储整型数值及其对应的权重或频次： ```java public class IntSumPair implements WritableComparable<IntSumPair> { private int sum; private int count; public IntSumPair() {} public IntSumPair(int sum, int count) { this.sum = sum; this.count = count; } // Getters and setters... @Override public void write(DataOutput out) throws IOException { out.writeInt(sum); out.writeInt(count); } @Override public void readFields(DataInput in) throws IOException { sum = in.readInt(); count = in.readInt(); } @Override public int compareTo(IntSumPair o) { return Double.compare((double)this.sum / this.count, (double)o.getSum() / o.getCount()); } } ``` #### Reduce 阶段 Reducer接收来自mapper发出的所有相同key关联起来的一系列values对象列表作为参数。在这个例子中，所有的value都具有相同的key `"avg"` ，因此reducer只需要遍历这个集合累加各个成员所携带的信息——即总数和个数，最后返回它们之间的比率作为整体均值。 ```java public class AverageReducer extends Reducer<Text, IntSumPair, Text, FloatWritable> { @Override protected void reduce(Text key, Iterable<IntSumPair> values, Context context) throws IOException, InterruptedException { int totalSum = 0; int totalCount = 0; for (IntSumPair val : values) { totalSum += val.getSum(); totalCount += val.getCount(); } float average = ((float)totalSum)/totalCount; context.write(key, new FloatWritable(average)); } } ``` 上述代码展示了如何构建一个简单的基于MapReduce架构的应用程序来进行大规模数据集中平均值得到高效计算。需要注意的是实际应用可能还需要考虑更多细节如异常情况下的健壮性等问题[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值