HBase + Hadoop 错误小结

1.Windows下提交报用户权限问题

conf.set("user", "hadoop"); //或者相应的用户名

2.windows下提交报/bin/bash: line 0: fg: no job control

conf.set("mapreduce.app-submission.cross-platform", "true");

3.运行中报ClassNotFound问题

出现以下的错误：

java.lang.RuntimeException: 
java.lang.ClassNotFoundException: Class GeoHashLib.Hbase.HbaseScannerTest$Map not found

使用

TableMapReduceUtil.addDependencyJars(conf, xx.class);

4.运行时报OOM错误

这个错误是mapreduce过程和java虚拟机设置的内存使用过小，通过以下这几个参数进行改善（无需修改到配置文件中）

conf.set("mapreduce.map.memory.mb", "2048");
conf.set("mapreduce.map.memory.mb", "3072");

conf.set("mapreduce.map.java.opts", "-Xmx1024m");
conf.set("mapreduce.reduce.java.opts", "-Xmx2048m");