关于hadoop job中job.setOutputFormatClass和FileOutputFormat.setOutputPath容易报错的问题

最新推荐文章于 2021-08-07 19:11:33 发布
最新推荐文章于 2021-08-07 19:11:33 发布
阅读量4.9k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vic868/article/details/52672083

1.job.setOutputFormatClass(TextOutputFormat.class);

TextOutputFormat的为新的API中org.apache.hadoop.mapreduce.lib.output.TextOutputFormat

      

2.FileOutputFormat.setOutputPath(job, tempIndexPath);

FileOutputFormat为新api中的 org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

MapReuce笔记六之输入类InputFormat
ty4315的专栏
10-13 3812
hadoop中mapreduce的输入类，自定义输入类CombineFileInputFormat，TextInputFormat等
mysql 批量导入hbase_数据快速批量快速导入HBASE方法
weixin_34698515的博客
02-10 379
10T的数据如何快速导入到HBASE呢？本文介绍一种高效快速的导入方法处理思路：1、如果要求快速就必须是利用分布式集群的并行运算能力2、将数据放入HDFS中，实现一次写入多出读3、通过MR并行处理并生产HFILE文件4、导入HFILE文件进入数据库编写一个Map程序生产HFile格式的文件protected void map(LongWritable key, Text value, Contex...
Hadoop中MapReduce中combine、partition、shuffle的作用是什么？在程序中怎么运用？
热门推荐
05-17 1万+
InputFormat类：该类的作用是将输入的文件和数据分割成许多小的split文件，并将split的每个行通过LineRecorderReader解析成,通过job.setInputFromatClass()函数来设置，默认的情况为类TextInputFormat，其中Key默认为字符偏移量，value是该行的值。 Map类：根据输入的对生成中间结果，默认的情况下使用Mapper类，该类将
hadoop中job.setOutputFormatClass(PartitionByCoun...
weixin_34216196的博客
10-14 402
2019独角兽企业重金招聘Python工程师标准>>> ...
package com.yjxxt.wordcount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapred.FileInputFormat; import org.apache.hadoop.mapred.FileOutputFormat; import org.apache.hadoop.mapreduce.Job; import java.io.IOException; public class WordCountJob { public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException { // 加载配置文件 Configuration conf = new Configuration(true); // 本地模式运行 conf.set("mapreduce.framework.name","local"); // 创建作业 Job job = Job.getInstance(conf); // 设置作业主类 job.setJarByClass(WordCountJob.class); // 设置作业名称 job.setJobName("yjx-WordCount-"+System.currentTimeMillis()); // 设置 Reduce 的数量 job.setNumReduceTasks(2); // 设置数据的输入路径（需要计算的数据从哪里读） FileInputFormat.setInputPaths(job,new Path("/yjx/harry potter.txt")); // 设置数据的输出路径（计算后的数据输出到哪里） FileOutputFormat.setOutputPath(job,new Path("/yjx/result/"+job.getJobName())); // 设置 Map 的输出的 Key 和 Value 的类型 job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); // 设置 Map 和 Reduce 的处理类 job.setMapperClass(WordCountMapper.class); job.setReducerClass(WordCountReducer.class); // 将作业提交到集群并等待完成 job.waitForCompletion(true); } } FileInputFormat.setInputPaths(job,new Path("/yjx/harry potter.txt")); FileOutputFormat.setOutputPath(job,new Path("/yjx/result/"+job.getJobName()));爆红，显示类型不对
03-08
好的，我现在需要帮助用户解决Java代码中FileInputFormat和FileOutputFormat的报红问题。首先，我得仔细看一下用户提供的代码片段。 用户提到FileInputFormat.setInputPaths和FileOutputFormat.setOutputPath这两行...
package com.dajiangtai.hadoop.tv; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; public class ParseAndFilterLog extends Configured implements Tool { public static class ExtractTVMsgLogMapper extends Mapper<LongWritable, Text, Text, Text, Text> { public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { DataUtil.transData(value.toString(), context); } } public int run(String[] args) throws Exception { Configuration conf = new Configuration(); String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs(); if (otherArgs.length < 2) { System.err.println("Usage: ParseAndFilterLog <in> <out>"); System.exit(2); } Job job = Job.getInstance(conf, "ParseAndFilterLog"); job.setJarByClass(ParseAndFilterLog.class); job.setMapperClass(ExtractTVMsgLogMapper.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); FileInputFormat.addInputPath(job, new Path(otherArgs[0])); FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); job.getConfiguration().set("mapreduce.output.textoutputformat.separator", "@"); return job.waitForCompletion(true) ? 0 : 1; } public static void main(String[] args) throws Exception { int exitCode = ToolRunner.run(new Configuration(), new ParseAndFilterLog(), args); System.exit(exitCode); } }修改这段代码使其不报错
最新发布
07-02
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1])); job.getConfiguration().set("mapreduce.output.textoutputformat.separator", "@"); return job.waitForCompletion(true) ? 0 : 1; } public...
package 哪个region下面的用户出现违约情况最多; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; public class MyJob { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "Region Default Count"); job.setJarByClass(MyJob.class); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(IntWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(IntWritable.class); FileInputFormat.addInputPath(job, new Path("D:\\网页下载\\课程设计\\train.csv")); FileOutputFormat.setOutputPath(job, new Path("D:\\网页下载\\课程设计\\out")); System.exit(job.waitForCompletion(true) ? 0 : 1); } }
06-06
4. Output：程序通过FileOutputFormat.setOutputPath()方法设置输出路径，输出结果保存在out目录下。 您可以根据实际需求进行相应的修改和调整，例如可以增加Combiner来减少数据传输，或者修改Mapper和Reducer的...
上述情况均正常的情况下，依然出现问题 [root@hadoop04 ~]# hadoop jar film001.jar CleanDriver /film/input /film/outputs/cleandata 25/03/14 18:21:36 INFO client.RMProxy: Connecting to ResourceManager at hadoop04/192.168.100.104:8032 Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop04:9000/film/input already exists at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146) at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1762) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308) at CleanDriver.main(CleanDriver.java:35) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:226) at org.apache.hadoop.util.RunJar.main(RunJar.java:141) [root@hadoop04 ~]#
03-15
例如，FileOutputFormat.setOutputPath(job, new Path(args[0]))，而正确的应该是args[1]。这时候即使用户命令行参数正确，代码里的错误配置也会导致问题。 总结下来，可能的解决方案包括： 1. 检查并删除已存在的...
hadoop初读--setInputFormatClass
巴氏旅人的专栏
06-01 3997
鉴于平时的hadoop实践问题或粗读hadoop源码而记录形成”hadoop初读”系列部分。每篇主要以问题-解答两部分组成:问题是实践中的异常或疑惑；解答部分为源码的粗读理解(以注释形式给出说明)。问题代码(主要实现多输入,报No input paths specified in job):import java.io.IOException; import java.net.URI; import
hadoop开发重点总结
超越的博客
05-17 350
1、Mapper的key排序方式默认为快速排序，合并切片文件时用的是归并排序，继承Mapper类 * 驱动类关联map：job.setMapperClass(WordcountMapper.class); 2、Reducer需要继承Reducer类，重写reduce(key, values, context)方法 * 驱动类关联reducer：job.setReducerClass(Wordcou...
HBase系列：利用BulkLoad快速导入海量数据及集群间数据同步
qq_36864672的博客
08-09 3361
Region的大小 单个region最大大小官方推荐5~10GB，这是三备份前的数据大小，通过hbase.hregion.max.filesize配置，当超过这个值后region会split，估计好数据量并合理的划分region会减少不必要的性能损失。甚至设置足够大的值，日常监控中发现过大后手工做split。 Region 大小 Region的大小是一个棘手的问题，需要考量如下几个因素。 ...
spark 操作 hbase 之写入 hbase
heqingcool的博客
06-03 4366
1 概述 在大数据的应用场景中，hbase常用在实时读写。 写入 HBase 的方法大致有以下几种： ​ 1）Java 调用 HBase 原生 API，HTable.add(List(Put))。 ​ 2）使用 TableOutputFormat 作为输出。 ​ 3）Bulk Load，先将数据按照 HBase 的内部数据格式生成持久化的 HFile 文件，然后复制到合适的位置并通知 RegionServer ，即完成海量数据的入库。其中生成 Hfile 这一步可以选择 MapReduce
运行一个Hadoop Job所需要指定的属性
apple01010105的博客
02-02 253
1、设置job的基础属性 Job job = new Job(); job.setJarByClass(***.class); job.setJobName(“job name”); job.setNumReduce(2); 2、设置Map与Reudce的类 job.setMappgerClass(*.class); job.setReduceClass(*.class...
自定义OutputFormat
张波的技术积累
01-01 5509
package com.ccse.hadoop.outputformat; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configurati
MapReduce框架原理-InputFormat数据输入
zyd_994264926326的博客
08-07 1389
一、InputFormat简介 InputFormat是一个抽象类，没有实现怎么切片，怎么转换，由它的子类实现。其中InputFormat的默认实现类是FileInputFormat，其也是一个抽象类，没有具体实现，最终是由FileInputFormat的子类去实现的。子类一共有五个，每一个子类的分片机制和转换成key-value键值对数据的格式都不一样，其中默认使用的是TextInputFormat<K,V> InputFormat是一个抽象类，里面有两个方法： getSplit...
MapReduce原理详解
AI蜗牛之家
07-09 680
从上手到使用，差不多经历过了一段时间，我有一个学习习惯，那就是学习的时候通过需求驱动，先把要完成的任务完成了，有什么问题整理下来，之后再一次性解决，这样能保证周期性的工作效率，不至于拖到ddl，还是少废话了…ORZ (本文参考自博主博客) 1、MapReduce简介 2、MapReduce有哪些角色？各自的作用是什么？ 3、MapReduce程序执行流程 4、MapReduce工作原理 5...
hadoop编程小技巧（5）---自定义输入文件格式类InputFormat
fansy1990的专栏
07-22 8639
Hadoop代码测试环境：Hadoop2.4应用：在对数据需要进行一定条件的过滤和简单处理的时候可以使用自定义输入文件格式类。Hadoop内置的输入文件格式类有：1）FileInputFormat这个是基本的父类，我们自定义就直接使用它作为父类；2）TextInputFormat这个是默认的数据格式类，我们一般编程，如果没有特别指定的话，一般都使用的是这个；key代表当前行数据距离文件开始的距离，
Job的数据输入格式化器—InputFormat
曲线救己的fighter
09-06 1122
Hadoop被设计用来处理海量数据，这种数据可以是结构化的，半结构化的，甚至是一些无结构化的文本数据(这些数据可能存储在HDFS文件中，也可能存放在DB中)。它处理数据的核心就是map-reduce模型，但是，无论是map还是reduce，它们的输入输出数据都是key-value对的形式，这种key-value对的形式我们可以看做是结构化的数据。同时，对于reduce的输入，当然就是map的输出，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值