weixin_44774111的博客

原创 hadoop常用的调优参数

常用的调优参数 阅读格式 配置参数(上一行) 参数说明(下一行) 1）资源相关参数 （1）以下参数是在用户自己的MR应用程序中配置就可以生效（mapred-default.xml） mapreduce.map.memory.mb 一个MapTask可使用的资源上限（单位:MB），默认为1024。如果MapTask实际使用的资源量超过该值，则会被强制杀死。 mapreduce.reduce.memory.mb 一个ReduceTask可使用的资源上限（单位:MB），默认为1024。如果ReduceTask