maptask运行机制，与小文件的优化合并TextInputFormat

最新推荐文章于 2024-04-17 19:02:39 发布

领悟大数据

最新推荐文章于 2024-04-17 19:02:39 发布

阅读量236

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hadoop 文章标签： maptask TextInputFormat

本文链接：https://blog.youkuaiyun.com/weixin_42898914/article/details/84891320

hadoop 专栏收录该内容

22 篇文章

订阅专栏

本文详细解析了MapReduce中MapTask的并行度决定机制，包括任务分割、默认blocksize设置、切片处理及小文件优化策略。深入探讨了MapTask的运行流程，从数据准备、逻辑运算到溢写、归并排序全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

maptask并行度与决定机制
   1）一个job任务map阶段并行度由客户端提交的任务所决定
   2）每一个split分配一个maptask并行处理
   3）默认情况下，split大小=blocksize
   4）切片是逐个针对每一个文件单独切片

maptask的运行机制
   1、准备数据
   2、创建客户端，提交任务
   3、逻辑运算
   4、向环形缓冲区写数据<k,v>
       默认大小事100M，内存满80%之后，会产生溢写
       同时进行默认的HashPartitioner分区和key.compareTo排序
   5、溢写到文件（保证分区且区内是有序的）
   6、Merge归并排序

小文件优化Combine TextInputFormat
   //制定运行的inputformat方式，默认的方式是textinputformat
   job.setInputFormatClass(CombineTextInputFormat.class);
   CombineTextInputFormat.setMaxInputSplitSize(job,4194304);//最大4M
   CombineTextInputFormat.setMinInputSplitSize(job,3145728);//最小3M