如何在mapreduce方法中获取当前使用文件（get file name）

最新推荐文章于 2023-08-24 11:34:52 发布
原创 最新推荐文章于 2023-08-24 11:34:52 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了在Hadoop 0.20.2版本中如何在MapReduce的map方法里获取当前处理的数据块所在的文件名。通过使用InputSplit对象并转换为FileSplit对象，可以进一步调用getPath().getName()来实现。
使用的0.20.2版本hadoop
查了许久，如何在map方法中获取当前数据块所在的文件名，方法如下：
//获取文件名
InputSplit inputSplit=(InputSplit)context.getInputSplit();
String filename=((FileSplit)inputSplit).getPath().getName();
在Ubuntu中搭建Hadoop到MapReduce文件上传
weixin_53910050的博客
12-25 688
#在Ubuntu中搭建Hadoop到MapReduce文件上传 在Windows中使用VirtualBox安装Ubuntu 我们将实现在Windows操作系统下使用开源虚拟机软件VirtualBox安装Ubuntu，版本选择UbuntuKylin-14.04.6： 设置好cpu的虚拟环境，打开VirtualBox，点击“创建”按钮，创建一个虚拟机，根据自己的需求合理分配电脑资源，建议内存空间选择8GB； 载入下载好的系统镜像到虚拟机并启动，按步骤安装后进行磁盘分区，选择“清除整个磁盘并安装Ubuntu”；
调用MapReduce对文件中各个单词出现次数进行统计
weixin_48070439的博客
12-19 336
调用MapReduce对文件中各个单词出现次数进行统计 实验配置：系统:Ubuntu Kylin | 环境：Hadoop | 软件：Eclipse 文章目录一、安装Ubuntu二、准备工作1.创建Hadoop账户2.设置hadoop密码 :3.为hadoop用户增加管理员权限:4.更新 apt5.安装vim6.配置SSH三.安装Java环境1.安装JDK2.验证JDK安装情况3.设置JAVA坏境变量四.安装Hadoop五.Hadoop伪分布式配置1.修改配置文件2.格式化 NameNode4.校验安装五.
Mapreduce如何获取读取文件夹下文件的名字
wjr_wl的博客
10-17 1694
 需要注意的导包的时候导这两个包                     import org.apache.hadoop.mapreduce.InputSplit;                     import org.apache.hadoop.mapreduce.lib.input.FileSplit; ---------------------  作者：闻雷 来源：优快云  ...
MapReduce程序获取文件名
momo的专栏
12-29 1158
在maper类中 Path path = ((FileSplit) context.getInputSplit()).getPath() .getParent();  String fileName = path.getParent().toString(); 引用类为  import org.apache.hadoop.fs.Path; import org.apache.
MapReduce Java代码获取文件名称
大数据流浪法师的学习笔记与分享
11-18 401
准备数据 链接：https://pan.baidu.com/s/1uspTkN6_o-FIPSbq-Q9YCQ 提取码：u0mf 下载SumData.txt 获取文件名称 在Map中加入以下代码，即可获取读取的文件名称 //通过context可以获取这行文本所属的文件名称 FileSplit inputSplit = (FileSplit)context.getInputSpli...
MapReduce> Java代码获取文件名称
qq_44509920的博客
11-20 259
获取文件名称 在Map中加入以下代码，即可获取读取的文件名称 //通过context可以获取这行文本所属的文件名称 FileSplit inputSplit = (FileSplit)context.getInputSplit(); String filename= inputSplit.getPath().getName(); 代码 MoreFileMappe...
结合案例讲解MapReduce重要知识点 ------ 获取文件名
Z_Data的博客
11-09 472
在map运行时获取被处理数据所在文件的文件名 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io....
在hadoop调用mapreduce对文件中各个单词出现次数进行统计
starlrl的博客
12-16 1311
目录 一、安装环境 二、需求分析 1.创建hadoop账户 2.设置Hadoop密码 3.为Hadoop用户增加管理员权限 4.更新apt 5.安装vim 6.安装SSH、配置SSH无密码登陆 三、安装java环境 1.安装JDK 2.验证JDK安装情况 四、安装hadoop 五、Hadoop单机配置(非分布式) 六、Hadoop伪分布式配置 1.修改配置文件 2.格式化 NameNode 3.开启NameNode和DataNode守护进程 4.校验安装 七、
eclipse操作hadoop-文件上传下载以及使用MapReduce完成对一个文本文件的单词计数
qq_39022311的博客
06-22 1261
1.查看hdfs上的文件 public static void main(String[] args) { try { // 创建要链接的资源地址 URI uri = new URI("hdfs://xxx.xxx.xxx.xxx:端口号"); //这个地址是hadoop目录下etc/hadoop/core-site.xml文件里的 fs.defaultFS 地址 Con...
Mapreduce中获取输入文件名及路径的方法
YF_Li123的博客
04-15 3673
在map函数中想要获取当前split所读取的文件名，方法如下： 1 不通用方法 1 如果读入的文件类型为 TextInputFormat，则获取文件名如下： String filePath = context.getConfiguration().get("mapreduce.map.input.file"); Path tmpFilePath = new Path(filePath)...
hadoop中实现两表结合 MapReduce中map过程获取操作的文件名
weixin_45744450的博客
11-19 313
当MapReduce中map阶段同时多个文件时候为了区分数据来自哪个文件就要求获取该文件的文件名。 补充map中重写setup方法//在map任务开始之前执行。 表一order： order001,u006 order002,u006 order003,u005 order004,u006 order005,u003 order006,u002 表二： u001,senge,18,male,ang...
Hadoop＿Map中获取当前spilt文件名
热门推荐
笨字第1号
07-18 1万+
有时候需要在Map类中的map函数中获取当前split所读取的文件名。 在旧版mapred下面实现方法如下： // 获得输入文件的路径名 String path=((FileSplit)reporter.getInputSplit()).getPath().toString(); //使用Reporter reporter对象来获取，在新版mapreduce中， Reporter r
spark 读取文件并获取文件名
qq_40607631的博客
08-24 456
【代码】spark 读取文件并获取文件名。
Spark处理hdfs文件时获取文件名
upupfeng的博客
04-02 2769
Spark处理hdfs文件时，获取所处理文件的文件名
MapReduce一次读取多个文件（获取数据所在文件的名称)
登峰造极胡子球手
11-19 3598
关键代码： 在Map代码中添加一下代码，可以获取每条数据所属的文件名 查看Hadoop支持的压缩格式 //获取所属的文件名称 FileSplit inputSplit = (FileSplit)context.getInputSplit(); String Filename = inputSplit.getPath().getName(); //FIlename是文件名称 ...
获得当前split所在的文件名
10-24 896
utSplit=(InputSplit)context.getInputSplit(); String filename=((FileSplit)inputSplit).getPath().getName();
解读MapReduce中逻辑切片的实现方法getSplits源码
Anakki的博客
01-12 1375
在书写任务的run方法时，定义输入输出格式中，我们使用了两段代码： //2 设置数据读入与写出格式 job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(TextOutputFormat.class); 其中TextInputFormat和TextOutputFormat被我们用来设置输入和输出格式 ...
hdfs使用以及MapReduce
最新发布
05-22
### HDFS 使用教程 HDFS（Hadoop Distributed File System）是一个分布式的文件系统，旨在解决大数据存储和访问的问题。以下是关于如何使用 HDFS 的一些基本操作： #### 1. 显示目录下的文件和子目录 可以使用 `hadoop fs -ls` 命令来查看指定路径下的文件列表及其属性[^3]。 ```bash hadoop fs -ls / ``` #### 2. 创建新目录 可以通过 `-mkdir` 参数创建新的目录结构。 ```bash hadoop fs -mkdir /example_directory ``` #### 3. 上传文件到 HDFS 利用 `-put` 或者 `-copyFromLocal` 将本地文件上传至 HDFS 上的某个位置。 ```bash hadoop fs -put local_file_path /destination_in_hdfs/ ``` #### 4. 下载文件从 HDFS 到本地 通过 `-get` 或者 `-copyToLocal` 把 HDFS 中的内容下载回本地机器上[^3]。 ```bash hadoop fs -get /source_from_hdfs/ local_destination_path ``` #### 5. 查看文件内容 如果想快速浏览某文件的具体内容，可以直接采用 `-cat` 来完成这一任务[^3]。 ```bash hadoop fs -cat /path_to_file_on_hdfs/file_name.txt ``` --- ### MapReduce 示例 MapReduce 是一种用于并行处理海量数据集的技术框架，在 Hadoop 生态圈里扮演着重要角色。下面给出一个简单的 WordCount 实现案例作为说明。 #### 编程实现Word Count功能 假设我们有一个文本集合，目标统计其中各个单词出现次数。这里提供 Python 版本伪代码展示逻辑流程[^1]: ```python from mrjob.job import MRJob from mrjob.step import MRStep class WordCount(MRJob): def mapper(self, _, line): words = line.split() for word in words: yield (word.lower(), 1) def reducer(self, key, values): total_count = sum(values) yield (key, total_count) if __name__ == '__main__': WordCount.run() ``` 此脚本定义了一个继承自 `MRJob` 类的新类，并重写了两个主要函数——mapper 和 reducer 方法分别负责输入分割与聚合运算部分的工作流控制。 最后一步就是将编写的程序打包部署到实际运行环境中去执行具体业务需求了。 --- ### 数据读写过程概述 对于更复杂的场景比如涉及多个阶段转换或者需要额外参数配置等情况，则可能还需要考虑其他因素如分区(partitioning)，排序(shuffling & sorting)等环节的影响效果评估等问题[^1]。 另外值得注意的是，在真实生产环境下为了提高效率降低延迟通常还会涉及到缓存机制设置等方面的知识点学习掌握情况也很关键[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值