超级会员免费看
本文介绍了Hadoop3.x中CombineTextInputFormat如何优化小文件处理，通过合并小文件减少map任务数量，提高处理效率。详细阐述了CombineTextInputFormat的切片过程，包括虚拟存储和切片步骤，并通过实例演示了不同设置下对切片数量的影响，展示了其在资源节省和效率提升方面的优势。
然后我们再来看看这个CombineTextInputFormat,可以看到TextInputFormat这个组件,无论是文件有多少,
文件有多小,都会被单独切片成一片,然后分配给一个maptask,如果有大量要处理的小文件的话,就会产生大量的
mapTask,极其消耗资源,并且处理效率很低.
但是CombineTextInputFormat可以把多个小文件合并分配给一个maptask,这样来节省资源,提高处理效率.
但是CombineTextInputFormat的切片过程包括,虚拟存储过程和切片过程,两个部分
举个例子看一下CombineTextInputFormat的切片过程,比如我们设置最大的切片大小是4m,那么
我现在有4个文件,a.t
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
