Hadoop学习--第七篇:初识 MapReduce

本文深入解析Hadoop MapReduce框架,涵盖其基本概念、编程规范及Hadoop序列化机制。通过WordCount实例,阐述MapReduce如何处理大规模数据集,包括Mapper、Reducer及Driver的实现细节。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础。Hadoop的核心是MapReduce和HDFS。前面已经介绍了HDFS,那么这篇博客就来介绍一下MapReduce。本文主要介绍:① MapReduce的基本概念;② 以WordCount为例,介绍MapReduce的编程规范;③Hadoop的序列化。


一、Mapreduce 概述

1.1 Mapreduce 概念

Mapreduce是一个分布式运算程序的编程框架,是用户开发"基于hadoop的数据分析应用"的核心框架。具体详解可以参考:谷歌技术"三宝"之MapReduce谷歌三大论文之一-MapReduce

1.2 HDFS优缺点

1.2.1 优点

① MapReduce 易于编程。它简单的实现一些接口,就可以完成一个分布式程序。
② 良好的扩展性。节点增删容易。
③ 高容错性。比如其中一台机器挂了,它可以把上面的计算任务转移到另外一个节点上面上运行。
④ 适合 PB 级以上海量数据的离线处理。

1.2.2 缺点

① 实时计算。MapReduce 无法像 Mysql 一样,在毫秒或者秒级内返回结果。
② 流式计算。流式计算的输入数据时动态的,而 MapReduce 的输入数据集必须是静态的。
③ 有向图计算。存在依赖关系,后一个应用程序的输入为前一个的输出,会造成大量的磁盘IO,导致性能非常的低下。

1.3 核心思想

  1. 分布式的运算程序往往需要分成至少2个阶段。
  2. 第一个阶段的maptask并发实例,完全并行运行,互不相干。
  3. 第二个阶段的reduce task并发实例互不相干,但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出。
  4. MapReduce编程模型只能包含一个map阶段和一个reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个mapreduce程序,串行运行。

二、Mapreduce 编程规范

编写的程序分成三个部分:Mapper,Reducer,Driver(提交运行mr程序的客户端)。下面以 WordCount为例子阐述代码。

2.1 Mapper 阶段

  1. 用户自定义的Mapper要继承自己的父类;
  2. Mapper中的业务逻辑写在map()方法中(重写父类的map方法);
  3. Mapper的输入和输出数据都是是KV对的形式(KV的类型可自定义);
  4. map()方法对每一个<K,V>调用一次,即 每一行输入数据调用一次map()方法。
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

/**
 * 输入的key     LongWritable    行号
 * 输入的value   Text            一行内容
 * 输出的key     Text            单词
 * 输出的value   IntWritable     单词个数
 */
public class WordcountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
  Text k = new Text();
  IntWritable v = new IntWritable(1);

  @Override
  protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    // 1 获取一行
    String  line = value.toString();
    // 2 切割
    String[] words = line.split(" ");
    // 3 输出
    for (String word : words) {
      k.set(word);
      context.write(k, v);
    }
  }
}

2.2 Reducer 阶段

  1. 用户自定义的Reducer要继承自己的父类;
  2. Reducer的业务逻辑写在reduce()方法中(重写父类的reduce方法);
  3. Reducer的输入数据类型对应Mapper的输出数据类型,也是KV;
  4. Reducetask进程对每一组相同k的<k,v>组调用一次reduce()方法。
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

/**
 * 输入key    Text          map输出key
 * 输入value  IntWritable   map输出value
 */
public class WordcountReducer extends Reducer<Text, IntWritable,Text, IntWritable> {

  @Override
  protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
    // 1. 累加求和
    int sum = 0;
    for (IntWritable count : values ) {
      sum += count.get();
    }
    // 2 输出
    context.write(key, new IntWritable(sum));
  }
}

2.3 Driver 阶段

整个程序需要一个Drvier来进行提交,提交的是一个描述了各种必要信息的job对象。

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.CombineTextInputFormat;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import java.io.IOException;

/**
 * 统计一堆文件中单词出现的个数(WordCount案例)
 */
public class WordcountDriver {
  public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
    // 1 获取配置信息
    Configuration configuration = new Configuration();
    Job job = Job.getInstance(configuration);

    // 2 设置 jar 加载路径
    job.setJarByClass(WordcountDriver.class);

    // 3 设置 map 和 Reduce 类
    job.setMapperClass(WordcountMapper.class);
    job.setReducerClass(WordcountReducer.class);

    // 4 设置 map 输出
    job.setMapOutputKeyClass(Text.class);
    job.setMapOutputValueClass(IntWritable.class);

    // 5 设置 Reduce 输出
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);

    // 6 设置输入和输出路径
    // 注意:输出路径 不需要自己创建,否则会报错
    FileInputFormat.setInputPaths(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));

    // 7 提交
    boolean result = job.waitForCompletion(true);
    System.exit(result ? 0 : 1);
  }
}

三、Hadoop 序列化

Hadoop 在集群之间进行通讯或者 RPC 调用的时候,需要序列化,而且要求序列化要快,且体积要小,占用带宽要小。

那么为什么不用Java的序列化呢?

Java 的序列化是一个重量级序列化框架(Serializable),一个对象被序列化后,会附带很多额外的信息(各种校验信息, header,继承体系等),不便于在网络中高效传输。 所以,hadoop 自己开发了一套序列化机制(Writable),精简、高效。

Hadoop自带的org.apache.hadoop.io包中有广泛的Writable类可供选择。

3.1 常用数据序列化类型

Writable类对所有Java基本类型提供封装,char类型除外(可以存储在IntWritable中)。
所有的封装包含get()和set()两个方法用于读取或才能出封装的值。
IntWritable和LongWritable还有对应的变长VIntWritable和VLongWritable类。

Java基本类型Writable实现序列化大小(字节)
booleanBooleanWritable1
byteByteWritable1
shortShortWritable2
intIntWritable4
floatFloatWritable4
longLongWritable8
doubleDoubleWritable8
stringText
mapMapWritable
arrayArrayWritable

3.2 自定义Writable

Hadoop已经实现了一些非常有用的Writable,你还可以自定义Writable来构造一些更加复杂的结果。自定义 bean 对象要想序列化传输,必须实现序列化接口, 同时需要注意以下 :
① 必须实现 Writable 接口;
② 反序列化时,需要反射调用空参构造函数,所以必须有空参构造
③ 重写序列化方法:write(DataOutput out);
④ 重写反序列化方法:readFields(DataInput in) ;
注意反序列化的顺序和序列化的顺序完全一致
⑥ 要想把结果显示在文件中,需要重写 toString(), 可用”\t”分开,也可以用其他。
⑦ 如果需要将自定义的 bean 放在 key 中传输,则还需要实现 comparable 接口,因为mapreduce 框中的 shuffle 过程一定会对 key 进行排序。
⑧ 同时实现Writable,comparable ,可以使用WritableComparable接口代替。

import lombok.Data;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableUtils;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

@Data
public class UserWritable implements WritableComparable<UserWritable> {
  private Text name;
  private IntWritable age;

  public UserWritable() {
    set(new Text(),new IntWritable());
  }

  public UserWritable(Text name, IntWritable age) {
     set(name,age);
  }
  
  public void set(Text name,IntWritable age) {
    this.name = name;
    this.age = age;
  }

  /**
   * 序列化方法
   * @param out
   * @throws IOException
   */
  @Override
  public void write(DataOutput out) throws IOException {
    name.write(out);
    age.write(out);
  }

  /**
   * 反序列化方法
   * 注意反序列化的顺序和序列化的顺序完全一致
   * @param in
   * @throws IOException
   */
  @Override
  public void readFields(DataInput in) throws IOException {
    name.readFields(in);
    age.readFields(in);
  }

  /**
   * 自定义排序
   * @param o
   */
  @Override
  public int compareTo(UserWritable o) {
    int cmp = name.compareTo(o.getName());
    if (cmp != 0) {
      return cmp;
    }
    return age.compareTo(o.getAge());
  }

  @Override
  public String toString() {
    return name + "\t" + age ;
  }
}

参考

谷歌技术"三宝"之MapReduce
谷歌三大论文之一-MapReduce
Hadoop实现定制的Writeable集合

"C:\Program Files\Java\jdk-17\bin\java.exe" -Didea.launcher.port=54222 "-Didea.launcher.bin.path=D:\hadoop\IntelliJ IDEA Community Edition 2018.3.6\bin" -Dfile.encoding=UTF-8 -classpath "D:\hadoop\Hadoop\target\classes;D:\hadoop\hadoop-3.1.4\share\hadoop\client\hadoop-client-api-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\client\hadoop-client-runtime-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\client\hadoop-client-minicluster-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\common\hadoop-kms-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\common\hadoop-nfs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\common\hadoop-common-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\common\hadoop-common-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-nfs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-rbf-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-client-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-httpfs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-rbf-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-client-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-native-client-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\hdfs\hadoop-hdfs-native-client-3.1.4-tests.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-hs-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-app-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-core-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-common-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-client-shuffle-3.1.4.jar;D:\hadoop\hadoop-3.1.4\share\hadoop\mapreduce\hadoop-mapreduce-c
最新发布
05-07
<think>好的,我现在需要帮助用户解决Hadoop 3.1.4的启动命令配置问题,特别是关于JDK 17和IDEA Community Edition 2018.3.6的classpath路径分析。首先,我得回顾一下用户提供的引用内容和之前的问题。 用户提到了几个关键点:Hadoop运行配置问题、启动命令的构成,以及classpath路径分析。引用中提到了ClassNotFoundException,JAVA_HOME未设置的问题,还有修改hadoop-env.sh和yarn.application.classpath的配置。此外,用户还提到了完全分布式环境的搭建步骤,比如移动和解压安装包,配置workers文件和环境变量。 首先,ClassNotFoundException通常和类路径有关,可能是驱动类没找到,或者打包的jar文件没有正确包含所需的类。用户使用JDK 17,需要注意Hadoop版本是否兼容,因为Hadoop 3.1.4可能对JDK 17的支持有限,官方文档可能推荐的是JDK 8或11。这候可能需要确认兼容性,或者调整JDK版本。 接下来是启动命令的配置。Hadoop启动通常通过start-dfs.sh和start-yarn.sh,这些脚本会读取Hadoop的配置文件,比如hadoop-env.sh,里面需要正确设置JAVA_HOME。用户提到使用JDK 17,所以必须确保hadoop-env.sh中的JAVA_HOME指向正确的JDK路径,例如export JAVA_HOME=/usr/lib/jvm/jdk-17。如果路径错误,会导致JAVA_HOME找不到,从而引发各种错误。 关于classpath,用户需要运行hadoop classpath命令获取路径,并将结果添加到yarn.application.classpath的配置中。这确保YARN能够找到所有的依赖库。同,如果用户使用IDEA进行开发,需要确保项目中的classpath配置正确,包括Hadoop的库和JDK 17的版本。IDEA 2018.3.6可能较旧,可能需要检查是否支持JDK 17,或者是否需要升级插件。 另外,用户的环境变量配置在/etc/profile.d/my_env.sh中,需要确认Hadoop和JDK的路径是否正确设置,并且通过source命令使其生效。同,workers文件中的节点名称是否正确,比如master、slave1、slave2是否与实际的主机名对应,SSH免密登录是否配置,这些都是启动分布式环境的关键步骤。 可能用户遇到的错误包括:ClassNotFoundException(类路径问题)、JAVA_HOME未设置(环境变量或配置文件错误)、或者节点通信问题(workers配置或SSH问题)。需要一步步检查这些方面,确认每个配置项的正确性。 最后,用户可能需要了解如何在IDEA中配置Hadoop项目,添加正确的依赖库,并设置运行参数,确保打包后的jar包含所有需要的类,并且Hadoop的classpath正确指向这些依赖。同,考虑到JDK 17的新特性,比如模块化系统,可能需要调整Hadoop的启动脚本或依赖项,避免不兼容的问题。</think>### Hadoop 3.1.4 启动命令配置详解(JDK-17 + IDEA 2018.3.6) #### 一、核心配置项分析 1. **JAVA_HOME配置** 修改 `$HADOOP_HOME/etc/hadoop/hadoop-env.sh` 文件,明确指定JDK-17路径: ```bash export JAVA_HOME=/usr/lib/jvm/jdk-17 ``` 若未配置,会触发 `Error: JAVA_HOME is not set` 错误[^2]。 2. **Classpath动态获取** 运行 `hadoop classpath` 获取当前Hadoop类路径,输出结果需添加到 `yarn-site.xml` 的 `yarn.application.classpath` 配置项中: ```xml <property> <name>yarn.application.classpath</name> <value>/opt/module/hadoop-3.1.4/etc/hadoop:/opt/module/hadoop-3.1.4/share/hadoop/common/lib/*:...</value> </property> ``` 该路径包含Hadoop核心库和第三方依赖[^3]。 3. **IDEA项目配置要点** - 确保 `pom.xml` 中Hadoop依赖版本与集群版本一致(3.1.4) - 设置编译兼容性为JDK-17: ```xml <properties> <maven.compiler.source>17</maven.compiler.source> <maven.compiler.target>17</maven.compiler.target> </properties> ``` #### 二、典型启动命令结构 完整作业提交命令示例: ```bash hadoop jar your-job.jar com.example.MainClass \ -D mapreduce.job.queuename=default \ /input/path /output/path ``` - `hadoop jar`:Hadoop执行入口 - `-D` 参数:动态配置MapReduce参数 - 末尾参数:程序自定义输入输出路径 #### 三、JDK-17兼容性问题 需注意: 1. Hadoop 3.1.4 官方支持最高JDK11,使用JDK-17需重新编译Hadoop源码: ```bash mvn clean package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true -Djava.version=17 ``` 2. 若出现 `UnsupportedClassVersionError`,需检查IDEA的编译输出目标版本设置 #### 四、调试技巧 1. **环境验证命令**: ```bash # 检查JAVA_HOME echo $JAVA_HOME # 验证Hadoop类路径 hadoop classpath ``` 2. **日志定位**: - NameNode日志:`$HADOOP_HOME/logs/hadoop-*-namenode-*.log` - YARN日志:通过 `yarn logs -applicationId <app_id>` 获取
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值