hadoop mapreduce错误

2019独角兽企业重金招聘Python工程师标准>>>

今天使用hadoop streaming调试用python写的简单mapreduce脚本，结果启动job，进度卡住了，一直显示map :0% reduce：０％

检查日志发现有hadoop Too small initial heap的错误，查了下，是job启动从java分配的堆内存太小导致无法支持正常的map和reduce过程造成。

打开/conf/mapred-site.xml找到

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx512</value>
<final>true</final>
</property>

看起来这个值似乎单位不对，莫非是512字节？还是512k？不管它，改成1024m，

重启整个hadoop群集，再次启动mapreduce脚本，能正常map和reduce了。。

  

转载于:https://my.oschina.net/u/221218/blog/144142