问题:
关于Map数设置,描述错误的是( )。(单选)
A.如果数据文件有很多小文件,在map执行前合并小文件,减少map数。
B.当数据文件的文件都很大,任务逻辑复杂,map 执行非常慢的时候,可以考虑增加Map数,来使得每个map处理的数据量减少,从而提高任务的执行效率。
C.当数据文件大小接近块大小时,比如有一个127m的文件,正常会用一个map 去完成。但只有一个或者两个小字段,却有几千万的记录,如果 map 处理的逻辑比较复杂,用一个map任务去做,肯定也比较耗时,这时需要增加map数,提高并行度,提高运算效率。
D.以上不全对
百度文心一言 | chatGpt3.5 |
---|---|
关于Map数设置,描述错误的是选项A:如果数据文件有很多小文件,在map执行前合并小文件,减少map数。在Hadoop MapReduce中,Map任务的个数通常是根据数据文件的数量来确定的。如果数据文件有很多小文件,那么会生成较多的Map任务,这可能会导致系统资源不足或者任务执行效率低下。在这种情况下,可以在Map执行前合并小文件,以减少Map任务的数量,提高系统的效率和稳定性。因此,选项A的描述是正确的。而选项B、C、D的描述都是正确的。当数据文件的文件都很大、任务逻辑复杂、Map执行非常慢的时候,可以考虑增加Map数,以使得每个Map处理的数据量减少,从而提高任务的执行效率。当数据文件大小接近块大小时,如果只有一个或者两个小字段,却有几千万的记录,用一个Map任务去做会比较耗时,这时需要增加Map数,提高并行度,提高运算效率。因此,选项B、C的描述是正确的。而选项D表示上述描述不完全正确,也是正确的。 | 描述错误的是:C. 当数据文件大小接近块大小时,比如有一个127m的文件,正常会用一个map 去完成。但只有一个或者两个小字段,却有几千万的记录,如果 map 处理的逻辑比较复杂,用一个map任务去做,肯定也比较耗时,这时需要增加map数,提高并行度,提高运算效率。这句话 |