mapreduce获取输入文件名、输出路径

最新推荐文章于 2024-08-20 10:25:29 发布
原创 最新推荐文章于 2024-08-20 10:25:29 发布 · 3.3k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1。 获得输入文件名 String input= context.getInputSplit();     context 就是 Context对象

2。获得输出路径 String outPutPath = context.getConfiguration().get("mapred.output.dir");

MapReduce获取输入文件路径(全)
zwlll19900607的专栏
01-21 2184
对于MapReduce而言，在Map端经常需要知道处理文件的输入路径，以此来区分不同的处理方式。 我们知道在MapReduce框架中会将输入的文件切分成许多(InputSplit)文件块，每个文件块包含了文件路径，起止偏移量等信息，每一个文件块交给一个map任务进行处理。而文件块的生成是通过InputFormat调用getSplits方法实现的，不同的InputFormat会有不同的切分规则，生...
Hadoop源码分析——MapReduce输入和输出
sinat_34045444的博客
01-18 845
Hadoop中的MapReduce库支持集中不同的格式的输入数据。例如，文本模式的输入数据的每一行被视为一个key/value键值对。key是文件的偏移量，value是那一行的内容。另一种常见的格式是以key进行排序来存储key/value键值对的序列。每种输入类型的实现都必须能够把数据分割成数据片段，并能够由单独的Map任务来对数据片段进行后续处理。 1. 输入格式-InputFormat 当...
Hadoop学习（三）
2301_79721847的博客
08-03 1569
1)虚拟存储过程：将输入目录下所有文件大小，依次和设置的setMaxInputSplitSize值比较，如果不大于设置的最大值，逻辑上划分一个块。应用场景：适用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片（数据切片）中，多个小文件就可以交给一个MapTask处理。2）数据切片（MapReduce程序计算输入数据的单位)：只是在逻辑上对输入进行分片，不在磁盘上将其切成分片进行存储。逻辑，这样增加Map端业务，减少Reduce端数据的压力，尽可能的减少数据倾斜。保证输出的每个文件内部有序。
mapreduce 输入路径
W1197680160的博客
08-04 964
目前为止知道MapReduce有三种输入路径的设置方式： 1、第一种是通过以下方式输入： FileInputFormat.addInputPath(job, new Path(args[0])); FileInputFormat.addInputPath(job, new Path(args[1])); FileInputFormat.addInputPath(job, new Path(args...
MapReduce Java API实例-统计出现过的单词
BADAO_LIUMANG_QIZHI的博客
08-05 298
场景 MapReduce Java API实例-统计单词出现频率： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119410169 在上面是统计出现过的单词以及出现的次数。 如果只是从中统计出现过的单词，即类似于求单词集合的并集的效果。 注： 博客：https://blog.csdn.net/badao_liumang_qizhi 关注公众号 霸道的程序猿 获取编程相关电子书、教程推送与免费下载。 实现 与统计单词频率相
MapReduce分区/自定义输入输出
既明的博客
12-07 654
一、分区实现： MapperReduce程序中默认只有reducer组件，只有一个分区。 分区的实现是key的哈希算法实现。 分区只负责将对应的key-value键值对放在那个reducer组件中去执行 1、创建自定义分区类，继承Partitioner 2、在Partitioner指定类型和Reducer组件的输入类型相同 3、在getPartition（key，value）方法设定分区策略（自定...
Hadoop 学习笔记一 ---MapReduce 的输入和输出
weixin_30568591的博客
05-05 272
Hadoop 中的MapReduce库支持几种不同格式的输入数据。例如，文本模式的输入数据的每一行被视为一个key/value pair,其中key为文件的偏移量，value为那一行的内容。每一种输入类型的实现都必须能够把输入数据分割成数据片段，并能够由单独的Map任务来对数据片段进行后续处理。 一. 输入格式InputFormat 当运行一个M-R 作业的时候，我们需...
MapReduce自定义输出输入及求TopN
Imflash的博客
09-11 259
##1. 自定义InputFormat合并小文件 1.1 需求 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案 1.2 分析 小文件的优化无非以下几种方式： 1、 在数据采集的时候，就将小文件或小批数据合成大文件再上传HDFS 2、 在业务处理之前，在HDFS上使用mapreduce程序对小文件进行合并 3、 在mapr...
MapReduce原理分析：自定义输出格式OutputFormat
机器熊的技术大杂烩
04-12 3065
输出格式OutputFormat 在MapReduce框架中，OutputFormat负责把Reducer处理完成的Key-Value写出到本地磁盘或HDFS上，默认计算结果会以part-000的命名输出成多个文件，并且输出的文件数量与Reduce数量一致。000是关联到某个Reduce任务的分区的id。 MapReduce中提供了多种输出格式，用户可以灵活的定义文件输出的路径、文件名、输出格式等...
Hadoop(十五)MapReduce 输入类InputFormat（切片）案例
最新发布
技术博客
08-20 729
/设置文件不可切片,设置一个文件最多作为1片@Override//设置读取文件的格式为自定义格式@Override要修改两个地方：key和value。Mapper类中的map方法需要有四个参数，其中的KEY_IN和VALUE_IN都是由RecordReader类来设置的，这里需要设置一下。默认的RecordReader类的key为LongWritable类型，也就是一行数据对应的字节偏移量，这里设置key为文件名，也就是Text类型。
MapReduce使用PathFilter进行文件过滤
qq_44776813的博客
11-15 705
前言 在使用MapReduce对数据进行处理的过程中，难免会遇到在一个文件夹中避开某类文件的问题，在本篇博客中我们使用PathFilter路径过滤器过滤掉*.txt文件。这里使用词频统计来做一个简单的小例子. 一、定义Mapper类 import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.had
Mapreduce设置多路径输入输出
weixin_30432579的博客
10-28 505
转载请注明：http://www.cnblogs.com/demievil/p/4058279.html 我的github博客：http://demievil.github.io/ 最近写Mapreduce程序时，想用到多路径输入，一次输入多个文件夹下的数据。并且希望输出路径也可以区分，修改输出文件的名称。查了相关资料，已实现。 多路径输入 设置Mapreduce的输入是H...
mapreduce程序中读取文件过程详解
spark的专栏
04-02 2404
hadoop的inputformat包括他的子类reader是maptask读取数据的重要步骤 一、获得splits-mapper数 1. jobclinet的submitJobInternal，生成split，获取mapper数量   Java代码   public      RunningJob submitJobInternal {       
Hadoop-MapReduce-FileInputFormat切片getSplits()源码分析，MapReduce InputSplit（切片）与HDFS Block（块）对比
H_X_P_的博客
05-08 504
Hadoop-MapReduce-FileInputFormat切片getSplits()源码分析，MapReduce InputSplit与HDFS Block对比
MapReduce Input Split（输入分/切片）详解
qq_32445015的博客
01-28 890
转自：https://blog.csdn.net/Dr_Guo/article/details/51150278 看了很多博客，感觉没有一个说的很清楚，所以我来整理一下。 先看一下这个图   输入分片（Input Split）：在进行map计算之前，mapreduce会根据输入文件计算输入分片（input split），每个输入分片（input split）针对一个map任务，输入分片...
MapReduce多路径输入与多文件输出
热门推荐
GatsbyNewton
05-01 2万+
我前段时间在完成一个公司业务时，遇到了一个这样的需求：将HDFS上按每天每小时存储的数据进行数据预处理，然后对应按天存储在HDFS........由此可得，MapReduce的输入路径是： /user/data/yyyy/MM/dd/HH/ 每天有24小时，dd/目录下有24个目录，然后，对这24个目录下的数据预处理，最后输出到dd/目录： /user/out/yyyy/MM/dd/
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3680
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
MapReduce 判断输出路径是否存在问题
sinat_34022298的博客
06-07 3227
写MapReduce程序时，最后加一个判断当前输出路径是否存在的代码，如果输出路径存在则删除。这样可以避免出现如下错误： Output directory hdfs://192.168.42.130:9000/output already exists 具体代买如下： final static String OUTPUT_PATH = "hdfs://192.168
MapReduce自定义输出目录和输出文件名
u010077555的博客
11-15 4438
MapReduce自定义输出目录和输出文件名   添加临时的输出目录（非Reduce或Mapper输出文件目录） String outputPath = "/tmp/test/output/"; hdfsApi.loadFileSystem(); if (hdfsApi.exist(outputPath)) { hd...
获取Hadoop MapReduce 2.8.4源码反编译版与环境变量配置
通过对这个源码文件的分析，我们可以深入了解 Hadoop MapReduce 在不同操作阶段的实现细节，包括数据的输入/输出处理、任务调度、容错处理以及数据流在 Map 和 Reduce 阶段的转换。此外，研究该源码还可以帮助开发者...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值