hadoop 之 MR程序报Type mismatch in value from map错

最新推荐文章于 2024-04-26 17:28:17 发布

原创最新推荐文章于 2024-04-26 17:28:17 发布 · 1.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

hadoop 专栏收录该内容

6 篇文章

订阅专栏

本文探讨了MapReduce中常见的类型不匹配错误：Typemismatchinvaluefrommap。通常原因是Mapper输出与Reducer输入类型不符。文章通过具体示例介绍了如何正确设置Mapper输出类型以避免此错误。

Type mismatch in value from map: expected org.apache.hadoop.io.IntWritable, recieved org.apache.hadoop.io.Text
上面这个错误刚刚接触MR的朋友们一定不陌生，这是因为你的map输出与reduce的输入匹配不上，但这只是一个原因。我来分享我遇到另一种情况。

这是我的Mapper，输出都是Text

public static class DataMapper extends Mapper<Object, Text, Text, Text>

而我的Reduce，输出的是Text和NullWritable

public static class DataReduce extends Reducer<Text,Text, Text, NullWritable>

在默认的情况下map阶段和reduce阶段的输出是一样的，即下面的情况是认为map的输出的key是Text,输出的value是NuNullWritable

job.setOutputKeyClass(Text.class);// 设定OutputKey实现类,Text.class是默认实现
job.setOutputValueClass(NullWritable.class);// 设定OutputValue实现类

但是事实情况我们的map输出与Reduce是不一样的，所以你还需要设置MapOutput的key和value。

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

CallMeJiaGu

关注关注

4
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop

Amateur_engineer的博客

08-02

2159

从源码角度分析MapReduce的map-output流程

墨玉浮白的博客

06-30

890

文章目录前言前言之前我们已经对MapReduce的map-input流程进行了分析，现在我们继续从源码角度对map-out流程进行分析。

参与评论您还未登录，请先登录后发表或查看评论

hadoop问题Type mismatch in value from map解决方法

热门推荐

zjml2412的专栏

08-27

2万+

12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 12/08/27 15:49:40 WARN mapred.JobClient: No job jar

Type mismatch in value from map：

crazy_scott的博客

10-21

426

先检查mapper输出和reducer输入的类型是否一致。如果一致，需要在main中添加： job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWrita...

Type mismatch in value from map: expected org.apache.hadoop.io.LongWritable, received

weixin_45348240的博客

07-14

669

java.lang.Exception: java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.LongWritable, received

Type mismatch in value from map

weixin_40626699的博客

04-30

312

查看Job中设置的输入输出的class数据类型和实际Mapper和Reducer中的输入输出数据类型是否一致。

Hadoop on Mac with IntelliJ IDEA - 9 解决Type mismatch in value from map问题

weixin_30293135的博客

08-07

247

修改陆喜恒. Hadoop实战（第2版）5.3排序的代码时遇到IO异常。环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.5, Hadoop 1.2.1 异常具体信息如下 1 14/10/06 03:08:51 INFO mapred.JobClient: Task Id : attempt_201410021756_0043_m_000000_0, St...

hive配置Kerbros安全认证_hive kereveros(1)

2401_84264610的博客

04-26

593

因为服务器上可以访问keytab文件即可以以principal的身份通过kerberos的认证，所以，keytab文件应该被妥善保存，应该只有少数的用户可以访问。将生成的hdfs.keytab文件复制到hadoop配置路径下，并授权后面经常会遇到使用keytab login失败的问题，首先需要检查的就是文件的权限。hive配置kerberos的前提是Hadoop集群已经配置好Kerberos，因此我们先来配置Hadoop集群的认证。输入规则和密码，，两次密码相同即可，我是用的是root。

Hbase的bulkload流程与实践

小强签名设计的博客

06-15

3861

通常MapReduce在写HBase时使用的是方式，在 reduce 中直接生成 put 对象写入HBase，该方式在大数据量写入时效率低下（HBase 会 block 写入，频繁进行 flush、split、compact 等大量 IO 操作），并对HBase节点的稳定性造成一定的影响（GC 时间过长，响应变慢，导致节点超时退出，并引起一系列连锁反应），而HBase支持bulk load的入库方式，它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile。

hive配置Kerbros安全认证_hive kereveros

2401_84264610的博客

04-26

830

合并成一个keytab文件，rkt表示展示,wkt表示写入。注意：ktutil：以后面的是输入的。#生成密钥文件（生成到当前路径下）

Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.Lon

SpartacusG的专栏

10-28

8216

这个问题是因为map的方法参数与继承mapper定义的参数类型不一致导致的，应该将Mapper的key参数类型设置成Object，就可以解决这个问题

Type mismatch in key from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.Lon...

weixin_30394633的博客

07-22

1329

　　今天在写MapReduce时遇到了这个问题，这个问题的解释是：来自map的键类型不匹配:expected org.apache.hadoop.io文本,收到org.apache.hadoop.io.LongWritable，也就是说从map到reduce的输出格式装换错误，或者没有定义，即使在你的map的输出参数写的和reduce的参数一模一样还是会出现这个错误。　　那么...

Type mismatch in key from map: expected org.apache.hadoop.io.LongWritable, received org.apache.hadoo

momo的专栏

09-17

2439

Error: java.io.IOException: Type mismatch in key from map: expected org.apache.hadoop.io.LongWritable, received org.apache.hadoop.io.Text 解决问题：在的map(), reduce()前面加上@Override，eclipse自动生成map(),

hadoop中mapreduce的 Type mismatch in value from map错误

想吃点好好好才

04-09

944

import java.io.IOException; import java.io.InterruptedIOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.

java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.hive.serde2.columna

柏原森森

07-31

2386

写MR的时候遇到一个问题，大致的内容如下： java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.hive.serde2.columnar.BytesRefArrayWritable, recieved org.apache.hadoop.io.Text at org.apache.h...

【Hadoop】Hadoop开发中wrong key/value与type mismatch错误

zwan0518的专栏

06-08

3300

在hadoop开发中需要自己定义mapper域reducer，而在定义这两个类的时候需要相应实现map与reduce方法。其实开发需要遵守的规则还是蛮固定的，但是在开发过程中遇到的问题还是挺多的。其中经常遇到的问题就是wrong key与type mismatch这两个在map输出与reduce接受输入和写出结果的时候失败。错误1：wrong key/value的错误，一般是指你在map输出的

MapReduce编程的“Type mismatch in value from map“问题解决方法

gwk1234567的博客

11-11

666

最近在写MapReduce编程作业的时候出现报错，报错具体如下：报错的主要意思就是map的输出和reduce的输入类型不匹配，但是在代码中我也明确标注了传出传入类型即map的输出都是Text类型，reduce也以相应的Text类型接收，代码仍然报错。后来查询资料发现需要强制转换，即在main函数设置中加入如下两行代码 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(Text.class); 问题即可解决。 .

java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.IntWritable

最新发布

11-14

<think> 根据用户的问题，他遇到了一个Hadoop MapReduce作业中的类型不匹配错误： java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.IntWritable 这个错误表明，在Map阶段输出的value类型与Reduce阶段期望的value类型不匹配。具体来说，Reduce阶段期望的是Text类型，但实际接收到的是IntWritable类型。 ## 错误原因分析 1. **Mapper和Reducer的键值类型声明不一致**：在MapReduce作业中，Mapper的输出键值类型必须与Reducer的输入键值类型相匹配。如果Mapper输出的是`<Key, Value>`对，而Reducer期望的是`<Key, Value>`对，那么必须确保它们匹配。 2. **Job配置错误**：在驱动程序中设置Mapper和Reducer的输入输出类型时，可能没有正确设置`setMapOutputKeyClass`, `setMapOutputValueClass`, `setOutputKeyClass`, `setOutputValueClass`。 ## 解决方案 ### 1. 检查Mapper和Reducer的类定义确保Mapper输出的键值类型与Reducer输入的键值类型一致。例如： ```java public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // ... 处理逻辑 context.write(new Text(word), new IntWritable(1)); // 这里Mapper输出<Text, IntWritable> } } public class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> { @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { // ... 处理逻辑 context.write(key, new IntWritable(sum)); // Reducer输出<Text, IntWritable> } } ``` ### 2. 检查Job驱动程序配置在驱动程序中，需要明确设置Mapper的输出键值类型和Reducer的输入键值类型（如果使用了Combiner，也要注意Combiner的类型）。例如： ```java Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCount.class); // 设置Mapper和Reducer类 job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); // 设置Mapper输出键值类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); // 设置Reducer输出键值类型（同时也是最终输出类型） job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); ``` ### 3. 注意Combiner的设置如果使用了Combiner，那么Combiner的输入输出类型必须与Reducer的输入类型一致（因为Combiner本质上是一个本地的Reducer）。例如： ```java job.setCombinerClass(MyReducer.class); // 注意：MyReducer的输入输出类型必须与Mapper输出类型一致 ``` ### 4. 检查自定义的Partitioner或Comparator 如果使用了自定义的Partitioner或Comparator，也要确保它们处理的键类型与Mapper输出的键类型一致。 ### 5. 检查依赖的Hadoop版本和序列化确保所有节点上的Hadoop版本一致，并且使用了正确的序列化机制（如Writable接口）。 ## 总结出现`Type mismatch`错误时，通常是由于Mapper的输出类型与Reducer的输入类型不匹配造成的。请仔细检查： - Mapper类中`context.write`的键值类型 - Reducer类中声明的输入键值类型 - Job驱动程序中对Mapper输出和Reducer输出的设置按照上述步骤逐一排查，通常可以解决该问题。 §§相关问题§§ 1. 如何在Hadoop MapReduce中定义Mapper和Reducer的输入输出类型？ 2. Hadoop MapReduce中Combiner的作用是什么？如何使用？ 3. 如何为MapReduce作业设置自定义的Partitioner？ 4. 如何解决Hadoop MapReduce作业中的序列化错误？ </think> 针对Hadoop MapReduce作业中出现的`java.io.IOException: Type mismatch in value from map: expected org.apache.hadoop.io.Text, received org.apache.hadoop.io.IntWritable`错误，以下是完整的解决方案： ### 错误原因分析 1. **类型声明不一致** Mapper输出的value类型（实际输出`IntWritable`）与Reducer期望的value类型（声明为`Text`）不匹配。 2. **Job配置缺失** 未在驱动程序中明确指定Mapper的输出类型（`setMapOutputValueClass`），导致框架使用Reducer的默认设置。 3. **Combiner问题** 若使用了Combiner，其输入/输出类型必须与Mapper输出类型一致。 --- ### 解决方案 #### 1. 检查并修正Mapper/Reducer的类型声明确保Mapper和Reducer的泛型类型声明一致： ```java // Mapper声明（输出<Text, IntWritable>） public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> { @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 实际输出IntWritable类型 context.write(new Text("key"), new IntWritable(1)); } } // Reducer声明（输入<Text, IntWritable>） public class MyReducer extends Reducer<Text, IntWritable, Text, Text> { // ❌ 错误！Reducer输入应为<Text, IntWritable> @Override protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { // ... } } ``` **修正Reducer声明：** ```java public class MyReducer extends Reducer<Text, IntWritable, Text, IntWritable> { // ✅ 输入/输出类型匹配 // ... } ``` #### 2. 在Job驱动中显式设置Mapper输出类型在驱动程序（main方法）中添加： ```java Job job = Job.getInstance(conf, "MyJob"); job.setJarByClass(MyJob.class); // 设置Mapper输出类型（关键！） job.setMapOutputKeyClass(Text.class); // Map输出Key类型 job.setMapOutputValueClass(IntWritable.class); // Map输出Value类型 // 设置Reducer输出类型 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); ``` #### 3. 检查Combiner类型一致性若使用Combiner： ```java job.setCombinerClass(MyCombiner.class); ``` 确保`MyCombiner`的输入/输出类型与Mapper输出类型**完全一致**： ```java public class MyCombiner extends Reducer<Text, IntWritable, Text, IntWritable> { // 输入/输出均为<Text, IntWritable> } ``` #### 4. 验证序列化机制（特殊场景）若自定义了Writable类型： ```java public class CustomWritable implements Writable { // 必须实现write()和readFields()方法 @Override public void write(DataOutput out) throws IOException { ... } @Override public void readFields(DataInput in) throws IOException { ... } } ``` 并在Job配置中注册： ```java job.setMapOutputValueClass(CustomWritable.class); // 使用自定义类型 ``` --- ### 排查流程图 ```mermaid graph TD A[出现Type mismatch错误] --> B{检查Mapper实际输出类型} B --> |实际输出IntWritable| C{检查Reducer声明} C --> |Reducer输入声明为Text| D[修正Reducer泛型声明] C --> |Reducer声明正确| E{检查Job配置} E --> |未设置setMapOutputValueClass| F[添加job.setMapOutputValueClass] E --> |已设置但类型错误| G[修正为IntWritable.class] F --> H{是否使用Combiner?} H --> |是| I[检查Combiner类型一致性] I --> |不一致| J[修正Combiner类型] I --> |一致| K[检查自定义Writable] K --> |自定义类型| L[验证Writable接口实现] K --> |无自定义| M[问题解决] ``` --- ### 典型修复案例 **错误配置：** ```java // 驱动程序缺失Mapper输出设置 job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // 仅设置Reducer输出 ``` **修正后：** ```java // 显式声明Mapper输出类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); // 与Mapper实际输出一致 // 设置Reducer输出 job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); ``` > **关键点**：Hadoop不会自动推断Mapper输出类型，必须通过`setMapOutputKeyClass`和`setMapOutputValueClass`显式声明[^1][^2]。