关于hadoop job中job.setOutputFormatClass和FileOutputFormat.setOutputPath容易报错的问题

最新推荐文章于 2023-05-15 14:02:25 发布
最新推荐文章于 2023-05-15 14:02:25 发布
阅读量4.9k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vic868/article/details/52672083

1.job.setOutputFormatClass(TextOutputFormat.class);

TextOutputFormat的为新的API中org.apache.hadoop.mapreduce.lib.output.TextOutputFormat

      

2.FileOutputFormat.setOutputPath(job, tempIndexPath);

FileOutputFormat为新api中的 org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

Hadoop中MapReduce中combine、partition、shuffle的作用是什么？在程序中怎么运用？
05-17 1万+
InputFormat类：该类的作用是将输入的文件和数据分割成许多小的split文件，并将split的每个行通过LineRecorderReader解析成,通过job.setInputFromatClass()函数来设置，默认的情况为类TextInputFormat，其中Key默认为字符偏移量，value是该行的值。 Map类：根据输入的对生成中间结果，默认的情况下使用Mapper类，该类将
hadoop中job.setOutputFormatClass(PartitionByCoun...
weixin_34216196的博客
10-14 401
2019独角兽企业重金招聘Python工程师标准>>> ...
MapReduce之自定义outputFormat
大数据梦想家
11-19 4398
        现在有一些订单的评论数据，需求:         将订单的好评与差评进行区分开来,将最终的数据分开到不同的文件夹下面去,其中数据第九个字段表示好评，中评，差评。0：好评，1：中评，2：差评。   &nbs...
package com.yjxxt.wordcount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.FileInputFormat; import org.apache.hadoop.mapred.FileOutputFormat; import org.apache.hadoop.mapreduce.Job; import java.io.IOException; public class WordCountJob { public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException { // 加载配置文件 Configuration conf = new Configuration(true); // 本地模式运行 conf.set("mapreduce.framework.name","local"); // 创建作业 Job job = Job.getInstance(conf); // 设置作业主类 job.setJarByClass(WordCountJob.class); // 设置作业名称 job.setJobName("yjx-WordCount-"+System.currentTimeMillis()); // 设置 Reduce 的数量 job.setNumReduceTasks(2); // 设置数据的输入路径（需要计算的数据从哪里读） FileInputFormat.setInputPaths(job,new Path("/yjx/harry potter.txt")); // 设置数据的输出路径（计算后的数据输出到哪里） FileOutputFormat.setOutputPath(job,new Path("/yjx/result/"+job.getJobName())); // 设置 Map 的输出的 Key 和 Value 的类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); // 设置 Map 和 Reduce 的处理类 job.setMapperClass(WordCountMapper.class); job.setReducerClass(WordCountReducer.class); // 将作业提交到集群并等待完成 job.waitForCompletion(true); } } FileInputFormat.setInputPaths(job,new Path("/yjx/harry potter.txt")); FileOutputFormat.setOutputPath(job,new Path("/yjx/result/"+job.getJobName()));爆红，显示类型不对
03-08
好的，我现在需要帮助用户解决Java代码中FileInputFormat和FileOutputFormat的报红问题。首先，我得仔细看一下用户提供的代码片段。 用户提到FileInputFormat.setInputPaths和FileOutputFormat.setOutputPath这两行...
package com.dajiangtai.hadoop.tv; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; public class ParseAndFilterLog extends Configured implements Tool { public static class ExtractTVMsgLogMapper extends Mapper<LongWritable, Text, Text, Text, Text> { public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { DataUtil.transData(value.toString(), context); } } public int run(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length < 2) { System.err.println("Usage: ParseAndFilterLog <in> <out>"); System.exit(2); } Job job = Job.getInstance(conf, "ParseAndFilterLog"); job.setJarByClass(ParseAndFilterLog.class); job.setMapperClass(ExtractTVMsgLogMapper.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); job.getConfiguration().set("mapreduce.output.textoutputformat.separator", "@"); return job.waitForCompletion(true) ? 0 : 1; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new Configuration(), new ParseAndFilterLog(), args); System.exit(exitCode); } }修改这段代码使其不报错
最新发布
07-02
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); job.getConfiguration().set("mapreduce.output.textoutputformat.separator", "@"); return job.waitForCompletion(true) ? 0 : 1; } public...
package 哪个region下面的用户出现违约情况最多; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "Region Default Count"); job.setJarByClass(MyJob.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("D:\\网页下载\\课程设计\\train.csv")); FileOutputFormat.setOutputPath(job, new Path("D:\\网页下载\\课程设计\\out")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
06-06
4. Output：程序通过FileOutputFormat.setOutputPath()方法设置输出路径，输出结果保存在out目录下。 您可以根据实际需求进行相应的修改和调整，例如可以增加Combiner来减少数据传输，或者修改Mapper和Reducer的...
上述情况均正常的情况下，依然出现问题 [root@hadoop04 ~]# hadoop jar film001.jar CleanDriver /film/input /film/outputs/cleandata 25/03/14 18:21:36 INFO client.RMProxy: Connecting to ResourceManager at hadoop04/192.168.100.104:8032 Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop04:9000/film/input already exists at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146) at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1762) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308) at CleanDriver.main(CleanDriver.java:35) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:226) at org.apache.hadoop.util.RunJar.main(RunJar.java:141) [root@hadoop04 ~]#
03-15
例如，FileOutputFormat.setOutputPath(job, new Path(args[0]))，而正确的应该是args[1]。这时候即使用户命令行参数正确，代码里的错误配置也会导致问题。 总结下来，可能的解决方案包括： 1. 检查并删除已存在的...
MapReduce框架原理：6.OutputFormat数据输出
m0_53336038的博客
05-15 684
MapReduce框架原理：6.OutputFormat数据输出
hadoop开发重点总结
超越的博客
05-17 350
1、Mapper的key排序方式默认为快速排序，合并切片文件时用的是归并排序，继承Mapper类 * 驱动类关联map：job.setMapperClass(WordcountMapper.class); 2、Reducer需要继承Reducer类，重写reduce(key, values, context)方法 * 驱动类关联reducer：job.setReducerClass(Wordcou...
spark 操作 hbase 之写入 hbase
heqingcool的博客
06-03 4363
1 概述 在大数据的应用场景中，hbase常用在实时读写。 写入 HBase 的方法大致有以下几种： ​ 1）Java 调用 HBase 原生 API，HTable.add(List(Put))。 ​ 2）使用 TableOutputFormat 作为输出。 ​ 3）Bulk Load，先将数据按照 HBase 的内部数据格式生成持久化的 HFile 文件，然后复制到合适的位置并通知 RegionServer ，即完成海量数据的入库。其中生成 Hfile 这一步可以选择 MapReduce
MapReduce设置输出路径 Job类型参数格式错误
hongmofang10的博客
03-14 729
首先把错误描述一下： 设置MapReduce的输出路径，但是IDEA报错，然看后发现setOutputPath()的第一个参数应该是JobConf型，但是我们的job是Job型。 网上说是导入的包版本老的原因 解决方案： 需要进行强制转换 即可。 PS：不知道为什么只有FileOutputFormat.setOutputPath（）参数类型变了，FileInputFormat.setInpu...
运行一个Hadoop Job所需要指定的属性
apple01010105的博客
02-02 251
1、设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName(“job name”); job.setNumReduce(2); 2、设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class...
自定义OutputFormat
张波的技术积累
01-01 5507
package com.ccse.hadoop.outputformat; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configurati
mapreduce程序reduce输出控制
hududumo
02-25 178
1，在hadoop中，reduce支持多个输出,输出的文件名也是可控的，就是继承MultipleTextOutputFormat类，重写generateFileNameForKey方法 public class LzoHandleLogMr extends Configured implements Tool { static class LzoHandleLogMapper exten...
利用采样器实现mapreduce任务输出全排序
wisgood的专栏
05-02 5271
利用采样器实现mapreduce任务输出全排序       采样器是hadoop内自带的一个可以对目标文件部分数据进行提取的工具类,以方便我们对这些采样的数据做一些参考或者处理。hadoop提供了多种采样器供我们使用，以满足不同的需求。另外，采样器不同于普通mapreduce操作。它是直接在客户端机器上运行的。 常见采样器 IntervalSampler 以一定的
hadoop初读--setInputFormatClass
巴氏旅人的专栏
06-01 3996
鉴于平时的hadoop实践问题或粗读hadoop源码而记录形成”hadoop初读”系列部分。每篇主要以问题-解答两部分组成:问题是实践中的异常或疑惑；解答部分为源码的粗读理解(以注释形式给出说明)。问题代码(主要实现多输入,报No input paths specified in job):import java.io.IOException; import java.net.URI; import
MR -- OutputFormat数据输出
a1786742005的博客
02-28 576
一、OutputFormat 介绍 OutputFormat 是 MapReduce 输出的基类，所有实现 MapReduce 输出都实现了 OutputFormat 接口。下面说一下几种常见的 OutputFormat 实现类。 1、TextOutputFormat 默认的输出格式为 TextOutputFormat，它把每条记录写为文本行。它的键和值可以是任意类型，因为 TextOutputF...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值