MapReduce的编程开发——求平均值

最新推荐文章于 2024-05-17 16:48:52 发布

Comet_sgf

最新推荐文章于 2024-05-17 16:48:52 发布

阅读量3.6k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：大数据文章标签：大数据 mapreduce hadoop

本文链接：https://blog.youkuaiyun.com/Comet_sgf/article/details/113454047

本文是关于使用Hadoop MapReduce进行平均值计算的学习笔记，详细介绍了环境配置，包括Linux Ubuntu 16.04上的Hadoop 3.0.0启动，Eclipse的Hadoop集成设置。通过编写Score.java程序，实现了读取数据文件，计算并输出平均值的结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

本文主要是学习MapReduce的学习笔记，对所学内容进行记录。
实验环境：
1.Linux Ubuntu 16.04

2.hadoop3.0.0

3.eclipse4.5.1

一、启动Hadoop

进入Hadoop启动目录cd /apps/hadoop/sbin
启动Hadoop./start-all.sh
输入‘jps’，启动后显示如下信息

二、环境搭配

打开eclipse->Window->Preferences;
选择Hadoop Map/Reduce,选择Hadoop包根目录，/apps/hadoop，点击Apply，点击OK;
点击window–>show view–>other–>mapreduce tools–>map/reduce locations，之后页面会出现对应的标签页；
点击3中图标1，在Local name输入myhadoop，在DFS Master 框下Port输入8020，点击Finish，出现3中右侧页面；
点击3中
图标2，选择下图内容，出现第3步图中左侧内容

完成环境配置环境。

三、求平均值

新建test项目，新建average包，图片步骤可见“排序”；
新建Score类，即Score.java，编写并保存如下代码：

package average;

import java.io.IOException;
import java.util.Iterator;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;