hadoop中的job.setOutputKeyClass与job.setMapOutputKeyClass

最新推荐文章于 2022-12-18 14:25:07 发布
最新推荐文章于 2022-12-18 14:25:07 发布
阅读量242 收藏 1
点赞数 1
CC 4.0 BY-SA版权
文章标签： 大数据
原文链接：http://www.cnblogs.com/dtj007/p/5485629.html
本文深入解析Hadoop作业中job.setOutputKeyClass与job.setOutputValueClass的用法，阐述当mapper与reducer输出类型一致或不一致时的配置策略，并通过实例解释配置过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

　　初学mr时，觉得没什么，但是学了一段时间，重新复习时发现程序中mr程序中一般都会有

hadoop中的job.setOutputKeyClass(theClass)与job.setOutputValueClass(theClass)，

但是有的程序处理以上两个外还有job.setMapOutputKeyClass(theClass）与job.setMapOu

tputValueClass(Text.class)，一直没弄懂是怎么回事，网上查了下，原来当mapper与reducer

的输出类型一致时可以用　job.setOutputKeyClass(theClass)与job.setOutputValueClass

(theClass)这两个进行配置就行，但是当mapper用于reducer两个的输出类型不一致的时候就需

要分别进行配置了。

转载于:https://www.cnblogs.com/dtj007/p/5485629.html

Hadoop3.x中MapReduce实现Map端join案例
QYHuiiQ
08-01 251
在上一个案例中我们使用的是reduce端的join实现了两个表之间的连接，但是reduce端join会使大量数据在传输过程中较多产生资源的消耗，同时也会造成数据倾斜。如果我们能将这些数据在map端进行处理，这样在数据传给reduce端的时候就会压力较小，并且此时reduce端不需要在进行特殊处理，所以我们就可以将reduceTask的个数设置为0。mapjoin的大致思路就是在mapper中初始化时将一张小表进行缓存，然后在map阶段用大表来对这个小表进行join，该案例中我们会将部门表进行缓存。.....
MapReduce实现数据去重、数据排序、求平均值、多列单行输出
沐雨金鳞
01-27 5048
写这篇博客的目的： 1、简单实现数据去重 其实就是将数据的个数设置成空值，输出不显示就OK了 2、简单实现数据排序 因为MapReduce会自动根据key值按字典序排序，所以我们将数据转化为IntWritable类型作为key值即可 3、简单的求成绩平均值（单个文件和多个文件） 分割数据，然后将成绩转化成IntWritable类型，求平均值写入即可 4、将人名对应数据（多列）单行输出 其实
hadoop 的job.setOutputKeyClass和job.setOutputValueClass的几个问题
hechenghai
06-16 7146
昨天写了一个mapreduce函数一直有错误，找不到，今天找了一天终于解决了，原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问题。 job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出，也就是说只有map和reduce输出是
job.setOutputKeyClass(IntWritable.class) job.setOutputValueClass(Text.class);
weixin_30872733的博客
04-13 439
//mapreduce编程中的这两行代码，设置的是map的输出格式 job.setOutputKeyClass(IntWritable.class); job.setOutputValueClass(Text.class); 转载于:https://www.cnblogs.com/erbin/p/4422918.html...
job.setOutputKeyClass的配置问题
老笨妞
05-28 3570
初学hadoop就要上项目，真是捉急啊！遇到这个配置问题，整了好久，更捉急！ 问题是这样的：在配置mapreduce的job时，总是报 1. java.io.IOException: wrong value class: class org.apache.hadoop.io.NullWritable is not class org.apache.hadoop.io.IntWritable
java jobkey_java-Driver中的job.setOutputKeyClass和setOutputValue...
weixin_35398720的博客
02-24 284
驱动程序代码：public class WcDriver {public static void main(String[] args) throws IOException,InterruptedException, ClassNotFoundException {Configuration conf = new Configuration();Job job = new Job(conf, "...
Hadoop中的setOutputKeyClass和setOutputValueClass
阿珂学编程
08-26 5911
mapreduce的数据流如下： Mapper
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "House_ownership Default Count"); job.setJarByClass(MyJob.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("D:\\网页下载\\课程设计\\train.csv")); FileOutputFormat.setOutputPath(job, new Path("D:\\网页下载\\课程设计\\out")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
06-10
这是一个使用Hadoop MapReduce框架进行...具体来说，它从输入文件train.csv中读取数据，经过Mapper处理之后，将结果传递给Reducer进行汇总，最终输出到指定的输出路径out中。这个程序的运行需要在Hadoop集群上进行。
Hadoop提交Job执行MR程序代码.zip
最新发布
10-02
6. **设置Key和Value的类型**：`job.setMapOutputKeyClass()`和`job.setMapOutputValueClass()`定义Map阶段输出的键值对类型，`job.setOutputKeyClass()`和`job.setOutputValueClass()`定义Reduce阶段输出的键值对...
Exception in thread “main“ java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$PO
m0_55901666的博客
12-18 3529
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$POSIX.stat(Ljava/lang/String;)Lorg/apache/hadoop/io/nativeio/NativeIO$POSIX$Stat;
hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误
qiaotongzxcv的专栏
07-09 766
早晨写了个关于专利数目统计的MapReduce程序，运行后发现： 错误上说Map函数的Key类型与设置的不一样，仔细一查发现 原来job.setOutputKeyClass和job.setOutputValueClass默认情况下同时设置Map和Reduce的输出，如果Map和Reduce设置的输出类型不相同就是报错，这时候就需要用到专门设置Map的job.setMapOutput
setMapoutputKeyClass()方法
maixia24的专栏
11-01 4697
mapJoinJob.setMapOutputKeyClass(Text.class); mapJoinJob.setMapOutputValueClass(SimItem.class); 这两个方法是map端输出的数据类型，默认的是LongWritable.class Text.class
hadoop中setOutputKeyClass和setOutputValueClass里类型
weixin_30511039的博客
09-20 207
初学mapreduce programing，纠结一天的问题如下： job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出，也就是说只有map和reduce输出是一样的时候才不会出问题。 so sort.java 此处修改为： job.setMapOutputKeyClass(IntWrit...
2020-09-17
ADCarryi的博客
09-24 166
Driver 思路： 注释已经标好 这个类需要改的地方 1.` 输入输出的地址 Path inpath=new Path("D:\\About_study\\idea\\workplace\\input\\weatherdata.txt"); Path outpath=new Path("D:\\About_study\\idea\\workplace\\output2"); 2` Map和Reducer的key和value的类型 主义和前面所对应， //4设置mapper阶段输
Hadoop作业构建中的主要方法
wenpu_Di
11-19 407
在主函数里边有几个方法的说明：Configuration conf = new Configuration(); // 配置设定 Job job = Job.getInstance(conf, “word count”); // 得到作业 job.setJarByClass(WordCount.class); // 主类名job.setOutputKeyClass(); //
大数据离线流程（小练习）
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
01-09 7355
原始数据： LZi2ryWsShY!lovejoy71!433!People & Blogs!111!47234!4.94!65!32!9G3rVGW4JrI!UnfbKKvUG9Q!753jCzdr_4w!QwNb2WZu8hE!0KyD0ZA2RRY!T6_91j86v5I!yJDPn0sPgus!uz50jqNcHRw!cFQUvZD8X0w!kHkdIiadj7E!Y0cHBgz...
运行一个Hadoop Job所需要指定的属性
apple01010105的博客
02-02 252
1、设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName(“job name”); job.setNumReduce(2); 2、设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class...
大数据学习笔记-2020-09-16--MR中自定义outputFormat于MR中的join操作
airleaya的博客
09-16 186
MR中自定义outputFormat outputFormat接口的实现类 OoutputFormat时MR输出时的基类，所有mr输出都实现了OF接口，一下时几种常见的OF实现类： TextOutputFormat 文本输出： 为默认输出格式，将每条记录写为文本行，键和值可以是任意类型，因为会调用它们的toSTring方法 sequenceFileOutputFormat ： 将SequenceFileOutputFormat的输出作为后续 MapReduce任务的输入，这便是一种好的输出格式，因
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值