案例十三：多格式文件输出MultipleOutputs

最新推荐文章于 2022-08-03 09:31:10 发布
原创 最新推荐文章于 2022-08-03 09:31:10 发布 · 725 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#mapreduce #多路径输出

本文介绍如何在Hadoop中实现多种格式的数据输出，并通过具体案例演示如何将不同值类型的文件输出到Hive及使用Sqoop进行数据迁移。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

案例十三：多格式文件输出MultipleOutputs


多格式输出文件，就当是一份文件不同的数值类型输出。

这样也很方便往hive加载数据，也方便sqoop迁移数据。直接上代码。大笑大笑大笑


先把用到数据格式贴一下：

asd126 com
wer 163 com
ewyrophwwq sinacom
asdh 126 com
214 tom com
asfdj tom com
45dsf 163 com
hadsfl 126 com
hdsla 163 com
po80 sina com
uopr 163 com
hfreih tom com
hfs 126 com
hfsl tom com
fdhs 126 com
ahdfl 163 com
afjkdsl sina com


类似邮箱的格式，如果是邮箱的格式最好还是先awk或者cut一下，

换一下普通的分隔符，不然好像会报错，写不了数据，可能会报readshort。









下面是结果，有两个都在/out/222，分别是FormatText和FormatIntWritable开头的文件，还有一个文件我定义在了/out/下面





大数据学习笔记28：MR案例——多输出源处理成绩
howard2005的专栏
01-25 675
文章目录一、提出任务原始成绩数据任务1、不同学生成绩情况生成不同结果文件任务2、每个结果文件统计不同学生各科平均分二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MultiOutScore4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建ScoreMapper2、创建ScoreReducer3、创建ScoreDr...
（十）Mapper多输入源及Reduce多输出文件
qinshi965273101的专栏
12-04 964
目的 Mapper多个输入源，处理后变成一个输出。 reduce多输出源，根据输出的数据，按照自己的要求来决定，输出到不同的文件里。 案例 有以下两个文件，作为输入源（Mapper处理） 最后把每个人的成绩打印到不同的文件里（Reduce处理） tom math 90 english 98 jary math 78 english 87 rose math 87 english 90...
MultipleOutputFormat多文件输出
mrwang1992
02-10 656
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.mapred.JobConf;
java输出流可以输出不同类型文件_JAVA学习笔记（7）——输入/输出流和文件
weixin_29505121的博客
02-28 825
一、输入/输出流通常程序需要从外部获取/输出信息–这个“外部”范围很广，包括诸如键盘、显示器、文件、磁盘、网络、另外一个程序等–“信息”也可以是任何类型的，例如一个对象、串字符、图像、声音等通过使用java.io包中的输入/输出流类就可以达到输入输出信息的目的1.I/O流(Input/Output)–在Java中将信息的输入与输出过程抽象为I/O流输入是指数据流入程序输出是指数据从程序流出–一个流...
案例十二：多文件输出MultipleOutputs
yoghurt
10-06 563
案例十二：多文件输出MultipleOutputs 好几天没写什么了，今天写点工作当中比较常用的东西吧--MultipleOutputs 多路径输出，这个用的也比较多，比如可以输出分区的数据，方便hive里建表， 也可以分类数据，都比较方便了。 下篇再说一下多格式输出。主要用到MultipleOutputs这个类。直接上代码。 先贴一下数据
使用MultipleOutputs遇到的问题小记
苏格拉底的毒堇汁
08-12 3148
1、org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.AlreadyBeingCreatedException: failed to create file /user/bjdata/user/wuyb/semv/SemAAJob_3/calsigma/_temporary/_attempt_2013062
MultipleOutputs(二)
Mrknowledge
02-17 1032
在使用Map-Reduce处理大量数据时，可能有些记录同别的记录不一样，比如这些记录是不符合规范的，可以简单丢弃这些数据。但是如果想保存这些出错的记录以分析错误的原因，这个时候就不太方便了，如果Hadoop提供一个分布式的日志系统就好了，直接使用API将这些错误的记录写入日志中。我先想到一个比较简单的方法，就是实现自己的partitioner，将错误的记录保存到最后一个分区文件中。代码如下所示：
Hadoop MultipleOutputs输出到多个文件中的实现方法
08-29
在上面的案例中，我们使用Hadoop MultipleOutputs输出到多个文件中，每个文件对应一个类目。这样，可以将输出结果按照类目分类，方便后续处理。 Hadoop MultipleOutputs输出到多个文件中的实现方法可以满足我们对...
MapReduce原理分析：自定义输出格式OutputFormat
机器熊的技术大杂烩
04-12 3016
输出格式OutputFormat 在MapReduce框架中，OutputFormat负责把Reducer处理完成的Key-Value写出到本地磁盘或HDFS上，默认计算结果会以part-000的命名输出成多个文件，并且输出的文件数量与Reduce数量一致。000是关联到某个Reduce任务的分区的id。 MapReduce中提供了多种输出格式，用户可以灵活的定义文件输出的路径、文件名、输出格式等...
【MapReduce案例分析】：深入解析Reduce阶段的错误处理与调试
[【MapReduce案例分析】：深入解析Reduce阶段的错误处理与调试](https://i-blog.csdnimg.cn/direct/910b5d6bf0854b218502489fef2e29e0.png) # 1. MapReduce编程模型简介 MapReduce是一种分布式编程模型，用于处理和...
mr分类输出（MultipleOutputs）
韩利鹏
10-10 837
原始数据：[INFO]127.0.0.1 2016-04-14 09:06:33 vi 200 [DEBUG]127.0.0.1 2016-04-13 09:06:40 rm 200 [FETAL]127.0.0.1 2016-04-12 09:14:54 vi 300 [WARNING]127.0.0.1 2016-04-15 09:24:58 vi 200 [INFO]127.0.0.1
MapReduce Design Patterns（chapter 6 （part 2））（十二）
亡の剑指
01-14 1317
Chain Folding 这是对job 链的一种优化。基本上是一种大体规则：每条记录都会提交给多个mapper，或者给reducer然后给mapper。这种综合处理方法会节省很多读文件和传输数据的时间。多个job的结构通常这样处理是可行的，因为map阶段是完全无共享的：看起来每条记录是单独的，数据的组织或是否分组是没有关系的。当创建大的MapReduce链时，合并这个链使多个map阶段合并会带
如何使用Hadoop的MultipleOutputs进行多文件输出
小桥
05-06 1651
有时候，我们使用Hadoop处理数据时，在Reduce阶段，我们可能想对每一个输出的key进行单独输出一个目录或文件，这样方便数据分析，比如根据某个时间段对日志文件进行时间段归类等等。这时候我们就可以使用MultipleOutputs类，来搞定这件事，  下面，先来看下散仙的测试数据：  Java代码   中国;我们   美国;他们   中国;123   中
字节输入输出流，文件输入输出流
m0_53667279的博客
08-03 3704
无
文件输出流：FileOutputStream
热门推荐
Luis
03-29 1万+
OutputStream有很多子类，我们从最简单的一个子类开始。 java.io.FileOutputStream类是文件输出流，用于将数据写出到文件。 1. 构造方法 public FileOutputStream(File file)：创建文件输出流以写入由指定的 File对象表示的文件。 public FileOutputStream(String name)： 创建文件输出流以指定的名称...
多种格式数据输出
尹成的技术博客
11-15 814
beego 当初设计的时候就考虑了 API 功能的设计，而我们在设计 API 的时候经常是输出 JSON 或者 XML 数据，那么 beego 提供了这样的方式直接输出： JSON 数据直接输出： func (this *AddController) Get() { mystruct := { ... } this.Data["json"] = &mystruct ...
MultipleOutputs实战：结果输出到多个文件夹或者文件中
小太阳~
07-19 3486
转载链接： http://blog.youkuaiyun.com/garychenqin/article/details/48339327（在原文基础上增加了代码分析、执行和结果） 1、原理技术 输出到多个文件或多个文件夹，驱动中不需要额外改变，只需要在MapClass或Reduce类中加入如下代码： private MultipleOutputs mos; public void setup(
Spark多文件输出(MultipleOutputFormat)
意中人
04-12 2089
　在本博客的《Hadoop多文件输出：MultipleOutputFormat和MultipleOutputs深究(一)》《Hadoop多文件输出：MultipleOutputFormat和MultipleOutputs深究(二)》两篇文章中我介绍了如何在Hadoop中根据Key或者Value的不同将属于不同的类型记录写到不同的文件中。在里面用到了MultipleOutputFormat这个类。　...
MapReduce处理输出多文件格式(MultipleOutputs)
shujuboke的博客
08-15 2352
MultiPleOutputs原理 MapReduce job中，可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如part-(m|r)-00000之类，但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。以前常用的方法是在MR job运行之后，用脚本对目录下的
LAMMPS案例分析教程：新手入门与in文件后处理
LAMMPS（Large-scale Atomic/Molecular Massively Parallel Simulator）是一个用于分子动力学模拟的软件包，广泛应用于材料科学、物理、化学和生物医学等多个领域的研究中。分子动力学模拟是一种利用计算机模拟物质...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值