有种情况下一个大文件只会用一个mapper处理，不会按block split。
比如文件是gzip 或者snappy压缩的格式。
http://stackoverflow.com/questions/7388436/hadoop-gzip-input-file-using-only-one-mapper
讨论了在Hadoop中处理如gzip或snappy等压缩格式的大文件时，这些文件如何仅由一个mapper处理而不是按block进行split的情况。
讨论了在Hadoop中处理如gzip或snappy等压缩格式的大文件时，这些文件如何仅由一个mapper处理而不是按block进行split的情况。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
