MapReduce的编程开发——求平均值

最新推荐文章于 2024-05-17 16:48:52 发布
最新推荐文章于 2024-05-17 16:48:52 发布
阅读量3.5k 收藏 20
点赞数 3
分类专栏： 大数据 文章标签： 大数据 mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Comet_sgf/article/details/113454047
版权
本文是关于使用Hadoop MapReduce进行平均值计算的学习笔记，详细介绍了环境配置，包括Linux Ubuntu 16.04上的Hadoop 3.0.0启动，Eclipse的Hadoop集成设置。通过编写Score.java程序，实现了读取数据文件，计算并输出平均值的结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

前言

本文主要是学习MapReduce的学习笔记，对所学内容进行记录。
实验环境：
1.Linux Ubuntu 16.04

2.hadoop3.0.0

3.eclipse4.5.1

一、启动Hadoop

  1. 进入Hadoop启动目录cd /apps/hadoop/sbin
  2. 启动Hadoop./start-all.sh
  3. 输入‘jps’，启动后显示如下信息
    在这里插入图片描述

二、环境搭配

  1. 打开eclipse->Window->Preferences;

  2. 选择Hadoop Map/Reduce,选择Hadoop包根目录，/apps/hadoop，点击Apply，点击OK;

  3. 点击window–>show view–>other–>mapreduce tools–>map/reduce locations，之后页面会出现对应的标签页；
    界面

  4. 点击3中图标1，在Local name输入myhadoop，在DFS Master 框下Port输入8020，点击Finish，出现3中右侧页面；
    在这里插入图片描述

  5. 点击3中

  6. 图标2，选择下图内容，出现第3步图中左侧内容
    在这里插入图片描述
    完成环境配置环境。

三、求平均值

  1. 新建test项目，新建average包，图片步骤可见“排序”；
  2. 新建Score类，即Score.java，编写并保存如下代码：
package average;

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce
最低0.47元/天 解锁文章
mapreduce计算平均值
smallpizza的博客
09-17 4653
当我们有每一位同学的每一科成绩时，我们计算他们的平均成绩，用传统的方法比较麻烦，如果我们用hadoop中MapReduce组件的话就比较简单了。 测试数据如下： 代码如下：import java.io.IOException; import java.util.Iterator; import java.util.StringTokenizer;import org.apache.hadoo
MapReduce之求平均值
Peanut_508的博客
10-30 2383
给定文件信息求文件内容的平均值算法 <1>Map端读取文件信息内容 在读取文件信息内容时，首先对文件信息进行切分，将文件切分为key和value，便于文件信息的计算 public class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable>{ @Override protected ...
头歌-第1关：MapReduce的编程开发-求平均值
2301_79646631的博客
04-02 2827
平均值有算术平均值，几何平均值，平方平均值（均方根平均值，rms），调和平均值，加权平均值等。其中以算术平均值最为常见。算术平均数，又称均值，是统计学中最基本、最常用的一种平均指标，分为简单算术平均数、加权算术平均数。它主要适用于数值型数据，不适用于品质数据。根据表现形式的不同，算术平均数有不同的计算形式和计算公式。求平均数是 MapReduce 比较常见的简单算法，使用 Map 端读取数据传入至 Reduce 端，在从 Reduce 端汇总并且统计总值与数量，将两值作商即可得出平均数。
Hadoop入门（二十二）Mapreduce的求平均值程序
茅坤宝骏氹的博客
10-20 3013
一、简介 求平均值是统计中最常使用到的，现在使用Mapreduce在海量数据中统计数据的求平均值。 二、例子 （1）实例描述 给出三个文件，每个文件中都存储了若干个数值，求所有数值中的求平均值。 样例输入： 1）file1： 1 2 3 7 9 -99 2 2）file2： 1...
MapReduce编程实例（一）-求平均数
03-10 2755
开始学习写一些MR编程实例，工作中即将使用(刚刚开始，如果有错误和建议，欢迎指出） 现在有一个文件，里面记录了全校所有学生各科成绩，求每个学生的平均成绩，格式如下 小明 语文 92 小明 数学 88 小明 英语 90 小强 语文 76 小强 数学 66 小强 英语 80 小木 语文 60 小木 数学 65 小木 英语 61 解决思路 Map阶段先将数据拆成k
MapReduce案例2——求学生平均成绩
jin6872115的博客
03-16 5283
题目：计算学生考试平均成绩 源数据： 张三 98 李四 96 王五 95 张三 90 李四 92 王五 99 张三 80 李四 90 王五 94 张三 82 李四 92 最终答案： 张三 98 李四 87 王五 86 上面的答案仅是格式，非正确数据思路：姓名作为key，成绩作为value，在map分组，在reduce中求平均值类似于SQL中的select name, avg(score) ...
MapReduce案例1——求学生成绩普通版
jin6872115的博客
03-16 2032
使用MapReduce求学生成绩：基础版computer,huangxiaoming,85computer,xuzheng,54computer,huangbo,86computer,liutao,85computer,huanglei,99computer,liujialing,85computer,liuyifei,75computer,huangdatou,48computer,huangj...
MapReduce实例编程之求平均数（不用eclipse插件详解）
monkey-jie的博客
10-24 860
由于本人的环境有点问题，无法正常使用hadoop的eclipse的插件，所以在导入jar包到eclipse的过程中遇到了很多坑，这里想给大家分享一下经验，让跟我同样境遇的人少踩坑，以快速上手自己的第一个MapReduce程序。 一、导入hadoop的jar包到eclipse中 1、新建java project（这个很容易，就不赘述了） 2、准入导入jar包：右击新建的项目，点Build Pa...
MapReduce求平均值
热门推荐
lavimer
01-28 1万+
一：背景 求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，Reduce端汇总并且统计记录数，然后作商即可。 二：技术实现 #需求：现有成绩单如下，求出每个同学的平均成绩 小民 语文 80 小民 数学 98 小民 英语 89 小芳 语文 88 小芳 数学 99 小芳 英语 90 实现代码： public class Averag
Mapreduce实例（三）：求平均值
Bee_Darker的博客
06-02 4631
任务目标 1.准确理解Mapreduce求平均值的设计原理 2.熟练掌握Mapreduce求平均值程序的编写 3.学会编写Mapreduce求平均值程序代码解决问题
MapReduce求平均值示例程序
05-16
MapReduce求平均值示例程序，并且程序里利用了logger类，可以将调试信息输出到mapreduce的日志，可以根据输出信息了解运行机制
使用map、reduce求平均值
03-03
使用Spark算子map、reduce相结合求平均值
MapReduce求行平均值--MapReduce案例
11-22
MapReduce求取行平均值 MapReduce小实例 数据有经过处理已经添加行号的 也有未添加的 行平均值的四种求法
Mapreduce实例（二）：求平均值
笑看风云路的博客
05-31 3729
MR 实现 求平均值实现思路编写代码Mapper代码Reducer代码完整代码 大家好，我是风云，欢迎大家关注我的博客 或者 微信公众号【笑看风云路】，在未来的日子里我们一起来学习大数据相关的技术，一起努力奋斗，遇见更好的自己！ 实现思路 求平均数是MapReduce比较常见的算法，求平均数的算法也比较简单，一种思路是Map端读取数据，在数据输入到Reduce之前先经过shuffle，将map函数输出的key值相同的所有的value值形成一个集合value-list，然后将输入到Reduce端，Reduce
使用Hadoop MapReduce计算成绩平均值
zfxxzh的博客
05-17 3002
Hadoop MapReduce是一个分布式计算框架，常用于处理大规模数据集。本篇博客将介绍如何使用Hadoop MapReduce计算学生科目成绩的平均值。我们将通过编写Map和Reduce两个类来实现这个功能。通过以上步骤，我们成功编写了一个使用Hadoop MapReduce计算各科目成绩平均值的程序，并将打印结果输出到hdfs路径中。通过这种方式，我们可以方便地处理大规模的科目成绩数据，并计算出平均值。希望本篇博客对小伙伴们有所帮助！如果有任何问题或建议，请随时提出。
MapReduce 基础案例 之 平均值 计算
努力吧闫小胖的博客
09-05 2485
平均值计算 平均值的计算是对相同属性的一堆值，进行取平均。常见的如平均成绩、平均温度。 思想 平均值的计算其实是在MapReduce入门案例词频统计wordcount的基础上，再进化一步。 词频统计wordcount。是在Map阶段将每个单词作为key。value固定值为1。在Reduce阶段，将多个1相加，得到词频。 平均值计算，是在Map阶段将属性作为key，同一个属性的值作为val...
MapReduce编程(四) 求均值
1.02^365=1377.41
03-31 2423
MapReduce编程统计学生成绩的平均值，StringTokenizer和Split的用法对比
MapReduce编程开发之求平均成绩
feinifi的博客
09-02 9405
MapReduce计算平均成绩是一个常见的算法，本省思路很简单，就是将每个人的成绩汇总，然后做除法，在map阶段，是直接将姓名做key,分数作为value输出。在shuffle阶段，会将每个人的所有成绩做汇总，数据结构变为<name,<score1,score2...>>这样子，我们在reduce阶段就通过分数这个value-list来结算平均分。average =...
Hadoop_MapReduce编程实现 起码五个需求
最新发布
01-03
### 使用Hadoop MapReduce编程实现五个及以上需求的示例 #### 1. 单词计数 (Word Count public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { private final static IntWritable one = new IntWritable(1); private Text word = new Text(); @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } } ``` 此代码展示了如何创建一个简单的映射器和化简器来计算文档中各个词语的数量[^3]。 #### 2. 平均值计算 (Average Calculation) 平均值计算可以用来求解一组数值数据集的算术平均数。这通常涉及到两个阶段：先汇总总数与项数，再除以总数量得到最终结果。 ```java // 假设有一个自定义的Combiner用于局部聚合... public static class AvgMapper extends Mapper<LongWritable, Text, Text, DoubleArrayWritable> { ... } public static class AvgReducer extends Reducer<Text, DoubleArrayWritable, Text, FloatWritable> { ... } ``` 这里`DoubleArrayWritable`被设计成携带一对双精度浮点数——分别是累加后的总和及其对应的条目数目。 #### 3. 数据过滤 (Data Filtering) 通过设定特定条件筛选符合条件的数据记录。比如只保留年龄大于等于某个阈值的人的信息： ```java public static class FilterMapper extends Mapper<LongWritable, Text, NullWritable, Text> { private final static NullWritable NULL_KEY = NullWritable.get(); private Text lineRecord; @Override protected void setup(Context context) throws IOException, InterruptedException { super.setup(context); this.lineRecord = new Text(); } @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] fields = value.toString().split(","); if(Integer.parseInt(fields[1]) >= THRESHOLD_AGE){ lineRecord.set(value); context.write(NULL_KEY,lineRecord ); } } } // 这里不需要reducer因为只需要输出满足条件的结果即可。 ``` 这段代码实现了基于给定字段（如年龄）进行简单过滤的功能。 #### 4. 排序操作 (Sorting Operation) 对于大规模数据集来说，在分布式环境中执行排序是一项重要任务。可以通过设置适当的键比较逻辑来自定义排序顺序。 ```java public static class SortMapper extends Mapper<LongWritable, Text, CustomKey, NullWritable> {...} public static class SortReducer extends IdentityReducer<CustomKey,NullWritable>{...} ``` 其中`CustomKey`应该继承于`WritableComparable<T>`接口并重写其compareTo方法以便支持自定义排序规则。 #### 5. 统计分析 (Statistical Analysis) 利用MapReduce框架来进行一些基本的概率分布估计或其他形式的统计学研究也是可行的；例如估算泊松分布参数λ或构建直方图等。 ```java public static class StatisticMapper extends Mapper<LongWritable, Text, Text, LongWritable> {...} public static class StatisticReducer extends Reducer<Text, LongWritable, Text, LongWritable> {...} ``` 这些组件可以根据具体应用场景调整内部算法细节以适应不同的统计模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值