在map函数中获取当前记录来自的文件名称

最新推荐文章于 2025-04-09 20:56:36 发布
原创 最新推荐文章于 2025-04-09 20:56:36 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #api #mapreduce #string

本文探讨了在Hadoop中从旧API (org.apache.hadoop.mapred.FileSplit) 迁移到新API (org.apache.hadoop.mapreduce.lib.input.FileSplit) 的过程。通过解决文件名获取的问题，揭示了新旧API之间的差异。

查找资料，发现可以通过

InputSplit inputSplit=(InputSplit)context.getInputSplit();
String filename=((FileSplit)inputSplit).getPath().getName();

来获取，结果很不幸，我失败了，问题出在哪里呢，还是新旧API捣的鬼。

其实以前的“Hadoop中mapred包和mapreduce包的区别”中有提到hadoop的新旧API。

Hadoop旧API：org.apache.hadoop.mapred.FileSplit已废弃

应该采用新的API，换成新的API：org.apache.hadoop.mapreduce.lib.input.FileSplit

OK，一切搞定

STM32启动过程浅析（MAP文件、STM32启动过程、启动模式、Reset_Handler函数、__initial_sp堆栈的起始地址、堆栈）
扬帆起航
05-23 1562
STM32启动过程浅析（MAP文件、STM32启动过程、启动模式、Reset_Handler函数、__initial_sp堆栈的起始地址、堆栈）
hive 函数使用详解
congge_study的博客
02-12 8051
hive 函数使用详解
map方法获得文件夹下文件名称
沐雨金鳞
01-29 871
setup方法即为Mapper初始化的方法，可以点击Mapper按F3进行源码查看 static class MyMapper extends MapperObject,Object,Text,Text>{ protected void setup(Context context) throws IOException, InterruptedException{
在map中获取当前数据所属文件名
superye1983的专栏
11-28 914
很多业务逻辑在处理数据时和文件名进行了绑定 所以在做MAP的时候需要知道这条数据是从哪个文件而来 这句语句可以获得文件名 String fileName = ((FileSplit)context.getInputSplit()).getPath().getName();
android 怎么定位错误
fengchi4040的博客
01-02 704
初学安卓，看网上说的很笼统，有点看不懂，所以请教各位大侠，eclipse怎么去查找错误，今天拿一段代码进行调试，发现点击一个button后程序崩溃，只求调试方法和各位的思路，不吝赐教，同时希望大家多教教我怎么去操作，请说的详细些谢谢。 01-01 00:43:34.290: I/AudioPolicyManagerBase(1197): checkAndSetVolume() stream 1 
杂乱整理中
kathy_zhangting的博客
11-04 987
工作中较乱的笔记
通过头文件函数名，在map文件中查找函数名对应的地址
最新发布
12-05
确定我们要找的函数名：这个函数名来自头文件，但头文件中的函数声明可能不会直接出现在map文件中，因为map文件中的符号是经过编译后的名称（可能被修饰，尤其是在C++中）。因此，我们可能需要考虑名称修饰（name ...
【PyCharm Community Edition】：分析map文件统计RAM及ROM的使用
09-06 1645
涉及：遍历文件，打开文件，查找指定字符，删除多余空格及拆分字符串，字符串转10进制，
YOLOv11训练中精准率召回率与mAP@0.5的动态变化分析
Stara-AI的博客
04-09 1667
本文介绍了目标检测模型训练过程中生成的 results.csv 文件的结构及其应用。该文件记录了每个训练轮次的关键性能指标（如精准率、召回率、mAP@0.5 、mAP@0.5 :0.95）和损失值（如定位损失、分类损失等），为模型性能分析提供了数据基础。通过加载和解析 results.csv 文件，可以绘制性能指标与损失随训练轮次的变化曲线，直观展示模型的收敛速度和最终精度。此外，支持多文件数据对比功能，能够有效评估不同算法或模型改进策略的效果。
jenkins pipeline关系
11-22
Read more about how to integrate steps into your Pipeline in the Steps section of the Pipeline Syntax page
Jenkins pipeline 获取指定路径下的文件列表
liurizhou的博客
11-03 4497
转自：获取Jenkinsfile（Groovy）中给定文件夹中的文件名列表 node { // ... check out code, whatever final foundFiles = findFiles(glob: 'dockerfiles/**/*') // do things with FileWrapper[] } 另一种选择是掏空并捕获标准： node { // ... check out code, whatever final foundFiles = s
Jenkins Pipeline 读取文件信息
Martin 的博客
02-28 1121
Jenkins 读取文件
Hadoop＿Map中获取当前spilt文件名
热门推荐
笨字第1号
07-18 1万+
有时候需要在Map类中的map函数中获取当前split所读取的文件名。 在旧版mapred下面实现方法如下： // 获得输入文件的路径名 String path=((FileSplit)reporter.getInputSplit()).getPath().toString(); //使用Reporter reporter对象来获取，在新版mapreduce中， Reporter r
VC下Release版程序崩溃异常捕捉与查找--map文件方式
zxh2075的专栏
08-19 2677
寻找Release版程发生异常退出的地方比Debug版麻烦得多。发生异常的时候windows通常会弹出一个错误对话框，点击详细信息，我们能获得出错的地址和大概的出错信息，然后可以用以下办法分析我们的程序。   一.     用MAP文件定位异常代码位置。 1.         如何生成map文件 打开“Project →Project Settings”，选择 C/C++ 
睿智的目标检测4——SSD算法训练部分详解（亲测可用）
Bubbliiiing的学习小课堂
10-14 1万+
睿智的目标检测4——SSD算法训练部分详解（亲测可用）学习前言讲解构架模型训练的流程1、设置参数2、读取数据集3、建立ssd网络。4、预处理数据集5、框的编码6、计算loss值7、训练模型并保存开始训练 学习前言 ……又看了很久的SSD算法，今天讲解一下训练部分的代码。 讲解构架 本次教程的讲解主要是对训练部分的代码进行讲解，该部分讲解主要是对训练函数的执行过程与执行思路进行详解。 训练函数的执...
Mapreduce如何获取读取文件夹下文件的名字
wjr_wl的博客
10-17 1704
 需要注意的导包的时候导这两个包                     import org.apache.hadoop.mapreduce.InputSplit;                     import org.apache.hadoop.mapreduce.lib.input.FileSplit; ---------------------  作者：闻雷 来源：优快云  ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值