FileInputFormat类的输入路径

最新推荐文章于 2021-07-13 14:13:33 发布
最新推荐文章于 2021-07-13 14:13:33 发布
阅读量1.0k 收藏 1
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vincentLCY/article/details/48876997
本文介绍了Hadoop中如何使用addInputPath(), addInputPaths() 和 setInputPaths() 方法配置作业输入路径。这些方法用于指定一个或多个文件、目录或文件集合作为Hadoop任务的数据源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1

addInputPath()和addInputPaths()方法可以将一个或多个路径加入路径列表。可以分别调用这两种方法来建立路径列表。setInputPaths()方法一次设定完整的路径列表（替换前面调用中在Job上设置的所有路径）

2

一个路径可以表示一个文件，一个目录或是一个glob，即一个文件和目录的集合。路径是目录的话，表示要包含这个目录下所有的文件，这些文件都作为作业的输入。

3


vincentLCY
关注
自定义InputFormat案例-（合并文件）
TrueDei
02-01 775
引言 无论HDFS还是MapReduce，在处理小文件时效率都是非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应的解决方案。可以自定义InputFormat实现小文件的合并。 需求 将多个小文件合并成一个SequenceFile文件(SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式)，SequenceFile里面存储着多个文件，存储的形式为路...
MapReduce获取输入文件路径
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
09-04 1139
map或reduce方法中有context变量： String inputFilePath = context.getConfiguration().get("mapreduce.input.fileinputformat.inputdir"); 根据输入文件做不同的处理
MapReduce数据流（二）
weixin_30485799的博客
01-11 470
　　接上一篇：MapReduce数据流（一）　　 　　输入块（InputSplit）：一个输入块描述了构成MapReduce程序中单个map任务的一个单元。把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。Map任务可能会读取整个文件，但一般是读取文件的一部分。默认情况下，FileInputFormat及其子类会以64MB（与HDFS的Block默...
MapReduce程序中的万能输入FileInputFormat.addInputPaths
lzq123_1的专栏
11-21 4297
写MR过程中经常会遇到多个源路径的输入，我们可以在MR程序主函数中通过FileInputFormat.addInputPaths(job,args[0])方法来实现， args[0]可以是folder1或者folder1，folder2只要以逗号分隔就可以了。 这样在执行MR的时候，输入会将多个源路径全部多为map输入进行执行。 另外一种实现单输入的方法（只支持一
FileInputFormat 之 自定义InputFormat实现 小文件的合并
哈
10-26 681
MapReduce的基本原理就是：将大的数据分析分成小块逐个分析，最后再将提取出来的数据汇总分析，最终获得我们想要的内容。当然怎么分块分析，怎么做Reduce操作非常复杂，Hadoop已经提供了数据分析的实现，我们只需要编写简单的需求命令即可达成我们想要的数据。 ...
MapReduce多路径输入与多文件输出
热门推荐
GatsbyNewton
05-01 2万+
我前段时间在完成一个公司业务时，遇到了一个这样的需求：将HDFS上按每天每小时存储的数据进行数据预处理，然后对应按天存储在HDFS........由此可得，MapReduce的输入路径是： /user/data/yyyy/MM/dd/HH/ 每天有24小时，dd/目录下有24个目录，然后，对这24个目录下的数据预处理，最后输出到dd/目录： /user/out/yyyy/MM/dd/
MR -- FileInputFormat实现类
a1786742005的博客
02-25 739
一、实现类的类型 FileInputFormat 常见的接口实现类包括：TextInputFormat、KeyValueTextInputFormat、NLineInputFormat、CombineTextInputFormat 和 自定义 InputFormat 等。 二、TextInputFormat TextInputFormat 是默认的 FileInputFormat 实现类。按行读取...
如何提供输入路径、输出路径
最新发布
12-17
在Hadoop MapReduce程序中，提供输入路径和输出路径是在`main()`函数中通过`FileInputFormat`和`FileOutputFormat`的静态方法来设置的。下面是如何在给定的`windcount`例子中进行设置： 1. **输入路径**： ``` ...
（三）hadoop中FileInputFormat类的getSplits获取InputSplit的过程
阿珂学编程
09-22 3994
FileInputFormat继承了抽象类InputFormat，来看一下InputFormat的源码：public abstract class InputFormat<K, V> { public abstract List<InputSplit> getSplits(JobContext context) throws IOException, InterruptedExcept
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3626
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
运行wordcount程序报 Input path does not exist 错
u013697028的博客
11-02 7108
在Windows上部署了hadoop，在执行官网给出的wordcount程序是遇到一下报错， Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/input at org.apache.hadoop.map
Hadoop实现多输入路径输入
A_stranger的专栏
12-06 1719
1.多路径输入 1）FileInputFormat.addInputPath 多次调用加载不同路径 String in0 = args[0]; String in1 = args[1]; String out = args[2]; FileInputFormat.addInputPath(job,new Path(in0)); FileInputFormat.addInputPath...
FileInputFormat.setInputPaths多路径读取规则
qq_39625998的博客
05-15 5382
FileInputFormat.setInputPaths(job, input1, input2);在读取文件时候，默认先读单个大文件所在的路径（一次性读清该文件下所有文件），后读小文件所在路径。写协同过滤时候，想让setInputPaths方法先读第一个输入路径input1，再读第二个输出路径input2就算把文件位置交换，读取的顺序还是错误public static class myMapp...
Hadoop 多输入和多输出研究(如何在Job History中获取相关信息)
leishenop的专栏
05-11 627
Hadoop FileInputFormat多输入使用FileInputFormat来指定多个输入.当我们使用FileInputFormat.setInputPaths(JobConf conf, Path... inputPaths) FileInputFormat.addInputPaths(JobConf conf, String commaSeparatedPaths)来设定有多个输入路径的
自定义InputFormat案例
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
07-13 564
自定义InputFormat案例背景说明需求1. 需求说明2.文件案例分析1.需求2.输入数据3.输出数据4.实现分析代码实现1.自定义InputFromat2.自定义RecordReader类3.编写SequenceFileMapper类处理流程4.编写SequenceFileReducer类处理流程5.编写SequenceFileDriver类处理流程结果截图 背景说明 无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定
FileInputFormat setInputPathFilter过滤文件报错找不到文件夹
zhoujianfeng3的专栏
07-28 1773
设置文件过滤代码： FileInputFormat.setInputPathFilter(job,MyPathFilter.class); 过滤器shix
FileInputFormat详解
空断的博客
07-23 9919
FileInputFormat 详解笔记
FileInputFormat.setInputPaths的执行原理
.
07-11 3058
今天在看 MapReduce 源码的时候看了一下 FileInputFormat 的 setInputPaths 方法，内容如下： /** * Set the array of {@link Path}s as the list of inputs * for the map-reduce job. * * @param job The job to modify ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值