本文介绍了解决MapReduce中因切片大小设置不当导致的问题的方法。通过调整mapreduce.input.fileinputformat.split.maxsize参数的值来适配不同大小的数据文件，避免数据倾斜现象发生。
解决bug思路：
出现这个问题说明你的mapreduce.input.fileinputformat.split.maxsize设置的太小了
解决方案：hive (default)> set mapreduce.input.fileinputformat.split.maxsize=。。。。;设置最大切片值为。。。个字节
这个数取决于你的文件大小，假设下：你的文件50M，你就把set mapreduce.input.fileinputformat.split.maxsize=10240000 大约10M的大小差不多
想了解具体情况（数据倾斜）请查看https://blog.youkuaiyun.com/WJWFighting/article/details/81666320
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
