hadoop 的job.setOutputKeyClass和job.setOutputValueClass的几个问题

最新推荐文章于 2022-04-26 16:43:41 发布
原创 最新推荐文章于 2022-04-26 16:43:41 发布 · 7.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分享了作者在实现MapReduce函数过程中遇到的关于hadoop job.setOutputKeyClass和job.setOutputValueClass设置输出的问题及解决方案。当map和reduce输出不一致时，需使用job.setMapOutputKeyClass和job.setMapOutputValueClass进行正确配置。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


昨天写了一个mapreduce函数一直有错误，找不到错误，今天找了一天终于解决了，原来是hadoop 的job.setOutputKeyClass和job.setOutputValueClas设置输出的问题。


job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出，也就是说只有map和reduce输出是一样的时候才不会出问题。

当map和reduce输出是不一样的时候就需要通过job.setMapOutputKeyClass和job.setMapOutputValueClas来设置map阶段的输出。


hadoop中的job.setOutputKeyClass与job.setMapOutputKeyClass
weixin_30752699的博客
05-12 242
　　初学mr时，觉得没什么，但是学了一段时间，重新复习时发现程序中mr程序中一般都会有 hadoop中的job.setOutputKeyClass(theClass)与job.setOutputValueClass(theClass)， 但是有的程序处理以上两个外还有job.setMapOutputKeyClass(theClass）与job.setMapOu tputValueClass(...
java jobkey_java-Driver中的job.setOutputKeyClass和setOutputValue...
weixin_35398720的博客
02-24 284
驱动程序代码：public class WcDriver {public static void main(String[] args) throws IOException,InterruptedException, ClassNotFoundException {Configuration conf = new Configuration();Job job = new Job(conf, "...
job.setOutputKeyClass(IntWritable.class) job.setOutputValueClass(Text.class);
weixin_30872733的博客
04-13 439
//mapreduce编程中的这两行代码，设置的是map的输出格式 job.setOutputKeyClass(IntWritable.class); job.setOutputValueClass(Text.class); 转载于:https://www.cnblogs.com/erbin/p/4422918.html...
hadoop 由job.setOutPutKeyClass和job.setOutPutValueClass引发的键值对输出类型不匹配错误
qiaotongzxcv的专栏
07-09 766
早晨写了个关于专利数目统计的MapReduce程序，运行后发现： 错误上说Map函数的Key类型与设置的不一样，仔细一查发现 原来job.setOutputKeyClass和job.setOutputValueClass默认情况下同时设置Map和Reduce的输出，如果Map和Reduce设置的输出类型不相同就是报错，这时候就需要用到专门设置Map的job.setMapOutput
Hadoop中的setOutputKeyClass和setOutputValueClass
阿珂学编程
08-26 5911
mapreduce的数据流如下： Mapper
package com.dajiangtai.hadoop.tv; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; public class ParseAndFilterLog extends Configured implements Tool { public static class ExtractTVMsgLogMapper extends Mapper<LongWritable, Text, Text, Text, Text> { public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { DataUtil.transData(value.toString(), context); } } public int run(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length < 2) { System.err.println("Usage: ParseAndFilterLog <in> <out>"); System.exit(2); } Job job = Job.getInstance(conf, "ParseAndFilterLog"); job.setJarByClass(ParseAndFilterLog.class); job.setMapperClass(ExtractTVMsgLogMapper.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); job.getConfiguration().set("mapreduce.output.textoutputformat.separator", "@"); return job.waitForCompletion(true) ? 0 : 1; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new Configuration(), new ParseAndFilterLog(), args); System.exit(exitCode); } }修改这段代码使其不报错
07-02
根据提供的代码，存在几个问题需要修改： 1.在`ExtractTVMsgLogMapper`类中，`map`方法抛出了`IOException`，但代码中没有导入`IOException`。2.`Mapper`类的泛型参数应该是四个，但这里提供了五个（`Mapper, Text, ...
package com.dajiangtai.hadoop.tv; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; public class ParseAndFilterLog extends Configured implements Tool { public static class ExtractTVMsgLogMapper extends Mapper<LongWritable, Text, Text, Text> { @Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { // 实际处理逻辑需要在这里实现 // 示例：简单传递原始值 context.write(new Text("key"), value); } } @Override public int run(String[] args) throws Exception { Configuration conf = this.getConf(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length < 2) { System.err.println("Usage: ParseAndFilterLog <in> <out>"); System.exit(2); } Job job = Job.getInstance(conf, "ParseAndFilterLog"); job.setJarByClass(ParseAndFilterLog.class); job.setMapperClass(ExtractTVMsgLogMapper.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); job.getConfiguration().set("mapreduce.output.textoutputformat.separator", "@"); return job.waitForCompletion(true) ? 0 : 1; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new ParseAndFilterLog(), args); System.exit(exitCode); } }这个代码和刚刚那段代码和刚刚合起来重新修改一下
最新发布
07-02
job.setOutputValueClass(Text.class); // 设置输入输出路径 FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); // 设置输出分隔...
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "House_ownership Default Count"); job.setJarByClass(MyJob.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("D:\\网页下载\\课程设计\\train.csv")); FileOutputFormat.setOutputPath(job, new Path("D:\\网页下载\\课程设计\\out")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
06-10
这是一个使用Hadoop MapReduce框架进行数据处理的Java程序，其中的MyMapper和MyReducer分别是自定义的Mapper和Reducer类，用于完成具体的数据处理逻辑。该程序的作用是统计房屋拥有情况的默认情况，并将结果输出到...
package com.dajiangtai.hadoop.tv; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; import java.io.IOException; public class ParseAndFilterLog extends Configured implements Tool { public static class ExtractTVMsgLogMapper extends Mapper<LongWritable, Text, Text, Text> { private final Text outputKey = new Text(); private final Text outputValue = new Text(); @Override public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] parsedData = parseAndFilterData(value.toString()); if (parsedData != null && parsedData.length == 7) { String keyPart = parsedData[0] + "@" + parsedData[1]; String valuePart = String.join("@", parsedData[2], parsedData[3], parsedData[4], parsedData[5], parsedData[6]); outputKey.set(keyPart); outputValue.set(valuePart); context.write(outputKey, outputValue); } } private String[] parseAndFilterData(String data) { // 实际解析逻辑应在此实现 return data.split(","); // 示例：按逗号分割 } } @Override public int run(String[] args) throws Exception { Configuration conf = getConf(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length < 2) { System.err.println("Usage: ParseAndFilterLog <input> <output>"); return 1; } Job job = Job.getInstance(conf, "TV Log Parser"); job.setJarByClass(ParseAndFilterLog.class); job.setMapperClass(ExtractTVMsgLogMapper.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); job.setNumReduceTasks(0); // 无Reducer FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); return job.waitForCompletion(true) ? 0 : 1; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new ParseAndFilterLog(), args); System.exit(exitCode); } }import org.apache.hadoop.fs.Path;import org.apache.hadoop.util.GenericOptionsParser; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; 这几个饮用能不能去除，因为总是报错，你帮我修改一下
07-02
我们正在处理一个Java编译错误问题，错误是由于不必要的Hadoop导入语句引起的。目标：移除不必要的Hadoop导入语句，并修复编译问题。步骤：1.识别并移除不必要的Hadoop导入语句。通常，这些可能是未使用的导入，或者...
job.setOutputKeyClass的配置问题
老笨妞
05-28 3570
初学hadoop就要上项目，真是捉急啊！遇到这个配置问题，整了好久，更捉急！ 问题是这样的：在配置mapreduce的job时，总是报 1. java.io.IOException: wrong value class: class org.apache.hadoop.io.NullWritable is not class org.apache.hadoop.io.IntWritable
hadoop中setOutputKeyClass和setOutputValueClass里类型
weixin_30511039的博客
09-20 207
初学mapreduce programing，纠结一天的问题如下： job.setOutputKeyClass和job.setOutputValueClas在默认情况下是同时设置map阶段和reduce阶段的输出，也就是说只有map和reduce输出是一样的时候才不会出问题。 so sort.java 此处修改为： job.setMapOutputKeyClass(IntWrit...
Map、Reduce和Job方法总结
dingqiu6346的博客
09-14 634
map方法： map的方法 public void map(Object key, Text value, Context context) throws IOException, InterruptedException {…} key:偏移量，一般为0，用不到 value：每行的值 context：可以记录输入的key和value 例如：context.w...
MapReduce 进阶
weixin_46579297的博客
04-26 470
1HDFS数据格式详解： 1.1文件格式 分为面向行和面向列的两大类文件格式 面向行 ： 文本文件格式（.TXT） 可切分 优点：查看方便编辑简单 缺点：无压缩占空间打，传输业利达，数据解析开销大 适用场景：学习练习使用 面向行： 序列文件格式（.seq） 可切分 优点：衍生支持，二进制kv存储，支持行和块压缩 缺点：本地查看不方便，小文件合并成KV结构后不易查看内部数据 适用场景：生产环境使用。map 输出的默认文件格式 面向列：（.rc）可切分 优点：数据加载快，查询快，空间利用率高，高负载
MapReduce作业的几种输入输出方式设置
碣石观海的博客
04-22 1042
一、作业文件输入分片读入格式设置 import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; import org.apache.hadoop.mapreduce.lib.input.KeyValueTextInputFormat; //1.设置文...
hadoop中mapreduce的默认设置
long1657的专栏
09-24 1630
默认设置 job.setInputFormatClass()的默认设置为TextInputFormat类，该类处理输入（该类只处理文本文件）。TextInputFormat将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成对，key值为对应行在文件中德偏移量，value为行的内容。 job.setMapperClass()的默认值为Mapper,
setMapoutputKeyClass()方法
maixia24的专栏
11-01 4697
mapJoinJob.setMapOutputKeyClass(Text.class); mapJoinJob.setMapOutputValueClass(SimItem.class); 这两个方法是map端输出的数据类型，默认的是LongWritable.class Text.class
关于hadoop job中job.setOutputFormatClass和FileOutputFormat.setOutputPath容易报错的问题
vicleev的博客
09-28 4072
1. job.setOutputFormatClass(TextOutputFormat.class) # TextOutputFormat的为新的API中org.apache.hadoop.mapreduce.lib.output.TextOutputFormat job.setOutputFormatClass(TextOutputFormat.class); 2.FileOutputFo...
运行一个Hadoop Job所需要指定的属性
apple01010105的博客
02-02 252
1、设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName(“job name”); job.setNumReduce(2); 2、设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值