案例十三：多格式文件输出MultipleOutputs

最新推荐文章于 2021-02-28 02:08:02 发布
最新推荐文章于 2021-02-28 02:08:02 发布
阅读量724 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： mapreduce HDFS hadoop 文章标签： mapreduce 多路径输出
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yoghurt2016/article/details/52745263
本文介绍如何在Hadoop中实现多种格式的数据输出，并通过具体案例演示如何将不同值类型的文件输出到Hive及使用Sqoop进行数据迁移。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

案例十三：多格式文件输出MultipleOutputs


多格式输出文件，就当是一份文件不同的数值类型输出。

这样也很方便往hive加载数据，也方便sqoop迁移数据。直接上代码。大笑大笑大笑


先把用到数据格式贴一下：

asd126 com
wer 163 com
ewyrophwwq sinacom
asdh 126 com
214 tom com
asfdj tom com
45dsf 163 com
hadsfl 126 com
hdsla 163 com
po80 sina com
uopr 163 com
hfreih tom com
hfs 126 com
hfsl tom com
fdhs 126 com
ahdfl 163 com
afjkdsl sina com


类似邮箱的格式，如果是邮箱的格式最好还是先awk或者cut一下，

换一下普通的分隔符，不然好像会报错，写不了数据，可能会报readshort。









下面是结果，有两个都在/out/222，分别是FormatText和FormatIntWritable开头的文件，还有一个文件我定义在了/out/下面





大数据学习笔记28：MR案例——多输出源处理成绩
howard2005的专栏
01-25 674
文章目录一、提出任务原始成绩数据任务1、不同学生成绩情况生成不同结果文件任务2、每个结果文件统计不同学生各科平均分二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MultiOutScore4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建ScoreMapper2、创建ScoreReducer3、创建ScoreDr...
（十）Mapper多输入源及Reduce多输出文件
qinshi965273101的专栏
12-04 964
目的 Mapper多个输入源，处理后变成一个输出。 reduce多输出源，根据输出的数据，按照自己的要求来决定，输出到不同的文件里。 案例 有以下两个文件，作为输入源（Mapper处理） 最后把每个人的成绩打印到不同的文件里（Reduce处理） tom math 90 english 98 jary math 78 english 87 rose math 87 english 90...
MultipleOutputFormat多文件输出
mrwang1992
02-10 653
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.mapred.JobConf;
java输出流可以输出不同类型文件_JAVA学习笔记（7）——输入/输出流和文件
weixin_29505121的博客
02-28 822
一、输入/输出流通常程序需要从外部获取/输出信息–这个“外部”范围很广，包括诸如键盘、显示器、文件、磁盘、网络、另外一个程序等–“信息”也可以是任何类型的，例如一个对象、串字符、图像、声音等通过使用java.io包中的输入/输出流类就可以达到输入输出信息的目的1.I/O流(Input/Output)–在Java中将信息的输入与输出过程抽象为I/O流输入是指数据流入程序输出是指数据从程序流出–一个流...
案例十二：多文件输出MultipleOutputs
yoghurt
10-06 563
案例十二：多文件输出MultipleOutputs 好几天没写什么了，今天写点工作当中比较常用的东西吧--MultipleOutputs 多路径输出，这个用的也比较多，比如可以输出分区的数据，方便hive里建表， 也可以分类数据，都比较方便了。 下篇再说一下多格式输出。主要用到MultipleOutputs这个类。直接上代码。 先贴一下数据
使用MultipleOutputs遇到的问题小记
苏格拉底的毒堇汁
08-12 3144
1、org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException: failed to create file /user/bjdata/user/wuyb/semv/SemAAJob_3/calsigma/_temporary/_attempt_2013062
MultipleOutputs(二)
Mrknowledge
02-17 1031
在使用Map-Reduce处理大量数据时，可能有些记录同别的记录不一样，比如这些记录是不符合规范的，可以简单丢弃这些数据。但是如果想保存这些出错的记录以分析错误的原因，这个时候就不太方便了，如果Hadoop提供一个分布式的日志系统就好了，直接使用API将这些错误的记录写入日志中。我先想到一个比较简单的方法，就是实现自己的partitioner，将错误的记录保存到最后一个分区文件中。代码如下所示：
Hadoop MultipleOutputs输出到多个文件中的实现方法
08-29
在上面的案例中，我们使用Hadoop MultipleOutputs输出到多个文件中，每个文件对应一个类目。这样，可以将输出结果按照类目分类，方便后续处理。 Hadoop MultipleOutputs输出到多个文件中的实现方法可以满足我们对...
MapReduce原理分析：自定义输出格式OutputFormat
机器熊的技术大杂烩
04-12 3009
输出格式OutputFormat 在MapReduce框架中，OutputFormat负责把Reducer处理完成的Key-Value写出到本地磁盘或HDFS上，默认计算结果会以part-000的命名输出成多个文件，并且输出的文件数量与Reduce数量一致。000是关联到某个Reduce任务的分区的id。 MapReduce中提供了多种输出格式，用户可以灵活的定义文件输出的路径、文件名、输出格式等...
【MapReduce案例分析】：深入解析Reduce阶段的错误处理与调试
[【MapReduce案例分析】：深入解析Reduce阶段的错误处理与调试](https://i-blog.csdnimg.cn/direct/910b5d6bf0854b218502489fef2e29e0.png) # 1. MapReduce编程模型简介 MapReduce是一种分布式编程模型，用于处理和...
mr分类输出（MultipleOutputs）
韩利鹏
10-10 837
原始数据：[INFO]127.0.0.1 2016-04-14 09:06:33 vi 200 [DEBUG]127.0.0.1 2016-04-13 09:06:40 rm 200 [FETAL]127.0.0.1 2016-04-12 09:14:54 vi 300 [WARNING]127.0.0.1 2016-04-15 09:24:58 vi 200 [INFO]127.0.0.1
MapReduce Design Patterns（chapter 6 （part 2））（十二）
亡の剑指
01-14 1317
Chain Folding 这是对job 链的一种优化。基本上是一种大体规则：每条记录都会提交给多个mapper，或者给reducer然后给mapper。这种综合处理方法会节省很多读文件和传输数据的时间。多个job的结构通常这样处理是可行的，因为map阶段是完全无共享的：看起来每条记录是单独的，数据的组织或是否分组是没有关系的。当创建大的MapReduce链时，合并这个链使多个map阶段合并会带
MapReduce处理输出多文件格式(MultipleOutputs)
Jonney's house
03-30 5576
MultiPleOutputs原理 MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的数据
Hadoop多文件输出之MultipleOutputFormat和MultipleOutputs
lavimer
01-26 2794
直到目前，我们看到的所有MapReduce作业都输出一组文件。但是，在一些场合下，经常要求我们输出多组文件或者把一个数据集分为多个数据集更为方便；比如将一个log里面属于不同业务线的日志分开来输出，并且交给相关的业务线。 用过旧API的人应该知道，旧API中有org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.m
通过MultipleOutputs写到多个文件
05-02 233
MultipleOutputs 类可以将数据写到多个文件，这些文件的名称源于输出的键和值或者任意字符串。这允许每个 reducer（或者只有 map 作业的 mapper）创建多个文件。 采用name-m-nnnnn 形式的文件名用于 map 输出，name-r-nnnnn 形式的文件名用于 reduce 输出，其中 name 是由程序设定的任意名字， nnnnn 是一个指明块号的整...
使用MultipleOutputs方法将mapreduce分组输出
端木胥的博客
05-13 296
使用MultipleOutputs方法将mapreduce分组输出 MapReduce是我们再进行离线大数据处理的时候经常要使用的计算模型，MapReduce的计算过程被封装的很好，我们只用通过使用Map和Reduce函数，再定义输入输出就能得到我们想要的结果。不过一般Map Reduce的输出只包含一个可视化输出文件（如下图part-r-00000文件），那么我们如果需要将这一个输出文件分为多个...
多种格式数据输出
尹成的技术博客
11-15 805
beego 当初设计的时候就考虑了 API 功能的设计，而我们在设计 API 的时候经常是输出 JSON 或者 XML 数据，那么 beego 提供了这样的方式直接输出： JSON 数据直接输出： func (this *AddController) Get() { mystruct := { ... } this.Data["json"] = &mystruct ...
Spark多文件输出(MultipleOutputFormat)
意中人
04-12 2088
　在本博客的《Hadoop多文件输出：MultipleOutputFormat和MultipleOutputs深究(一)》《Hadoop多文件输出：MultipleOutputFormat和MultipleOutputs深究(二)》两篇文章中我介绍了如何在Hadoop中根据Key或者Value的不同将属于不同的类型记录写到不同的文件中。在里面用到了MultipleOutputFormat这个类。　...
Hadoop使用MultipleOutputs输出多文件或者指定命名
jediael_lu的专栏
08-03 1282
Hadoop使用MultipleOutputs输出多文件或者指定命名@(HADOOP)[hadoop]（一）输出多文件（未测试）比如将不同国家的信息分别输出到一份对应的文件中。1、在reduce或map类中创建MultipleOutputs对象，将结果输出class reduceStatistics extends Reducer<Text, IntWritable, Text, IntWritab
LAMMPS案例分析教程：新手入门与in文件后处理
LAMMPS（Large-scale Atomic/Molecular Massively Parallel Simulator）是一个用于分子动力学模拟的软件包，广泛应用于材料科学、物理、化学和生物医学等多个领域的研究中。分子动力学模拟是一种利用计算机模拟物质...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值