hadoop之MapReducer作业的提交执行过程

本文详细介绍了Hadoop中文件的切片过程,包括如何确定文件是否可切分、计算切片大小、执行切片逻辑及存储切片信息等关键步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

debug信息

列出要切片的所有文件:[DeprecatedRawLocalFileStatus{path=file:/D:/a.txt; isDirectory=false; length=58; replication=1; blocksize=33554432; modification_time=1481531168562; access_time=0; owner=; group=; permission=rw-rw-rw-; isSymlink=false}]

文件block信息[0,58,localhost]{起始位置偏移量,长度,所在主机}
判断是不是可以切分
获取block块大小
计算切片大小,返回splitSize
执行切片逻辑:
while (((double) bytesRemaining)/splitSize > SPLIT_SLOP){SPLIT_SLOP=1.1}待切片大小/splitSize必须大于1.1倍的时候才进行切下一个
splits.add(makeSplit(path, length-bytesRemaining, bytesRemaining,
                       blkLocations[blkIndex].getHosts(),
                       blkLocations[blkIndex].getCachedHosts()));将切好的放入集合
[file:/D:/a.txt:0+58]返回切好的切片包括地址起始位置和长度
加入数组进行排序大的放在前边
返回数组大小,设置map的数量

writeConf(conf, submitJobFile);将job的信息写入描述文件.....


bbaiggey/mapred/local/localRunner/hadoop/job_local1171546085_0001/job_local1171546085_0001.xml----拷贝资源到运行目录



































mapreduce.job.queuename
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值