job.setOutputKeyClass(IntWritable.class) job.setOutputValueClass(Text.class);

最新推荐文章于 2021-02-24 17:57:39 发布
转载 最新推荐文章于 2021-02-24 17:57:39 发布 · 439 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/erbin/p/4422918.html

本文介绍了MapReduce编程中设置map任务输出格式的方法，通过两行关键代码实现：定义输出键为IntWritable类型，输出值为Text类型。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

//mapreduce编程中的这两行代码，设置的是map的输出格式
job.setOutputKeyClass(IntWritable.class);
job.setOutputValueClass(Text.class);

 

转载于:https://www.cnblogs.com/erbin/p/4422918.html

MapReduce实现数据去重、数据排序、求平均值、多列单行输出
沐雨金鳞
01-27 5048
写这篇博客的目的： 1、简单实现数据去重 其实就是将数据的个数设置成空值，输出不显示就OK了 2、简单实现数据排序 因为MapReduce会自动根据key值按字典序排序，所以我们将数据转化为IntWritable类型作为key值即可 3、简单的求成绩平均值（单个文件和多个文件） 分割数据，然后将成绩转化成IntWritable类型，求平均值写入即可 4、将人名对应数据（多列）单行输出 其实
hadoop 的job.setOutputKeyClass和job.setOutputValueClass的几个问题
hechenghai
06-16 7146
昨天写了一个mapreduce函数一直有错误，找不到，今天找了一天终于解决了，原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问题。 job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出，也就是说只有map和reduce输出是
java jobkey_java-Driver中的job.setOutputKeyClass和setOutputValue...
weixin_35398720的博客
02-24 284
驱动程序代码：public class WcDriver {public static void main(String[] args) throws IOException,InterruptedException, ClassNotFoundException {Configuration conf = new Configuration();Job job = new Job(conf, "...
hadoop中的job.setOutputKeyClass与job.setMapOutputKeyClass
weixin_30752699的博客
05-12 242
　　初学mr时，觉得没什么，但是学了一段时间，重新复习时发现程序中mr程序中一般都会有 hadoop中的job.setOutputKeyClass(theClass)与job.setOutputValueClass(theClass)， 但是有的程序处理以上两个外还有job.setMapOutputKeyClass(theClass）与job.setMapOu tputValueClass(...
Hadoop中的setOutputKeyClass和setOutputValueClass
阿珂学编程
08-26 5912
mapreduce的数据流如下： Mapper
hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误
qiaotongzxcv的专栏
07-09 766
早晨写了个关于专利数目统计的MapReduce程序，运行后发现： 错误上说Map函数的Key类型与设置的不一样，仔细一查发现 原来job.setOutputKeyClass和job.setOutputValueClass默认情况下同时设置Map和Reduce的输出，如果Map和Reduce设置的输出类型不相同就是报错，这时候就需要用到专门设置Map的job.setMapOutput
Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "word count"); job.setJarByClass(WordCountDriver.class); job.setMapperClass(WordCountMapper.class); job.setCombinerClass(WordCountReducer.class); job.setReducerClass(WordCountReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1);
06-09
其中`job.setMapperClass(WordCountMapper.class)`指定了Map阶段使用的Mapper类，`job.setReducerClass(WordCountReducer.class)`指定了Reduce阶段使用的Reducer类，`FileInputFormat.addInputPath(job, new Path...
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "House_ownership Default Count"); job.setJarByClass(MyJob.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("D:\\网页下载\\课程设计\\train.csv")); FileOutputFormat.setOutputPath(job, new Path("D:\\网页下载\\课程设计\\out")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
06-10
这是一个使用Hadoop MapReduce框架进行数据处理的Java程序，其中的MyMapper和MyReducer分别是自定义的Mapper和Reducer类，用于完成具体的数据处理逻辑。该程序的作用是统计房屋拥有情况的默认情况，并将结果输出到...
帮我解释下面的代码：import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; public class WordCount { public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{ private final static IntWritable one = new IntWritable(1); private Text word = new Text(); public void map(Object key, Text value, Context context ) throws IOException, InterruptedException { StringTokenizer itr = new StringTokenizer(value.toString()); while (itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word, one); } } } public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> { private IntWritable result = new IntWritable(); public void reduce(Text key, Iterable<IntWritable> values, Context context ) throws IOException, InterruptedException { int sum = 0; for (IntWritable val : values) { sum += val.get(); } result.set(sum); context.write(key, result); } } public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length != 2) { System.err.println("Usage: wordcount <in> <out>"); System.exit(2); } Job job = new Job(conf, "word count"); job.setJarByClass(WordCount.class); job.setMapperClass(TokenizerMapper.class); job.setCombinerClass(IntSumReducer.class); job.setReducerClass(IntSumReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
05-31
job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); System.exit(job....
package educoder; import java.io.IOException; import java.util.LinkedList; import java.util.List; import java.util.stream.Collectors; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; … job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
最新发布
03-11
conf.setOutputValueClass(IntWritable.class); conf.setMapperClass(Map.class); conf.setCombinerClass(Reduce.class); conf.setReducerClass(Reduce.class); // 设置输入输出格式 conf.setInputFormat...
job.setOutputKeyClass的配置问题
老笨妞
05-28 3570
初学hadoop就要上项目，真是捉急啊！遇到这个配置问题，整了好久，更捉急！ 问题是这样的：在配置mapreduce的job时，总是报 1. java.io.IOException: wrong value class: class org.apache.hadoop.io.NullWritable is not class org.apache.hadoop.io.IntWritable
Hadoop作业构建中的主要方法
wenpu_Di
11-19 408
在主函数里边有几个方法的说明：Configuration conf = new Configuration(); // 配置设定 Job job = Job.getInstance(conf, “word count”); // 得到作业 job.setJarByClass(WordCount.class); // 主类名job.setOutputKeyClass(); //
2020-09-17
ADCarryi的博客
09-24 166
Driver 思路： 注释已经标好 这个类需要改的地方 1.` 输入输出的地址 Path inpath=new Path("D:\\About_study\\idea\\workplace\\input\\weatherdata.txt"); Path outpath=new Path("D:\\About_study\\idea\\workplace\\output2"); 2` Map和Reducer的key和value的类型 主义和前面所对应， //4设置mapper阶段输
[Hadoop源码解读]（三）MapReduce篇之Job类
云计算?
08-24 422
下面，我们只涉及MapReduce 1，而不涉及YARN。 当我们在写MapReduce程序的时候，通常，在main函数里，我们会像下面这样做。建立一个Job对象，设置它的JobName，然后配置输入输出路径，设置我们的Mapper类和Reducer类，设置InputFormat和正确的输出类型等等。然后我们会使用job.waitFor...
运行一个Hadoop Job所需要指定的属性
apple01010105的博客
02-02 252
1、设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName(“job name”); job.setNumReduce(2); 2、设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class...
setMapoutputKeyClass()方法
maixia24的专栏
11-01 4697
mapJoinJob.setMapOutputKeyClass(Text.class); mapJoinJob.setMapOutputValueClass(SimItem.class); 这两个方法是map端输出的数据类型，默认的是LongWritable.class Text.class
mapreduce输入源为多hbase数据表 输出目标为多hbase数据表
cs_jiang的专栏
01-13 3383
多输入源(多个scan)配置:在job中配置 TableMapReduceUtil.initTableMapperJob(model.getScans(), model.getMapperClass(), model.getOutputKeyClass(), model.getOutputValueClass(), job); 其中第一个参数类型 List 多输出源配置:job中配置
hadoop实战之排序Sort源码
薛定谔的哈士奇博客
06-04 542
Sort：package com.test.sorted; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值