超级会员免费看
本文介绍了Hadoop3.x中MapReduce的FileInputFormat切片机制，强调切片是逻辑上的，不涉及物理操作。默认情况下，切片大小与块大小相等，且每个切片会启动一个maptask。讨论了根据文件大小调整切片大小对性能的影响，并给出了计算切片个数的公式。此外，还提到了获取切片信息的API。注意，只有当文件大小超过块大小的1.1倍时，才会产生多个切片。
然后我们再来看一下这个FileInputFormat的切片机制,可以看到
实际上切片就是按照文件的长度,一个切片大小默认等于块大小,切片是逻辑切片,不是物理切片
仅仅是做了标记
然后切片时不考虑数据整体,二手一个文件一个文件的单独切片
一般都是用默认的就可以了,当然切片大小,你也可以让他进行比如,1kb,就开启一个maptask
1kb就开启一个maptask,但这样的话有个问题就是,太消耗性能了.
一般一个maptask的开启,会消耗1g的内存,1个cpu,所以一般都是要做合适的切片大小才行
比如上面就说了个案例,切片案例
这里要注意,当文件大小,>块大小的1.1倍的时候,才会被切片,否则会弄到一个片里
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
