Hadoop启动、作业提交及错误修改

---

一、启动Hadoop

进入hadoop目录下，

$ cd sbin
$ ./start-all.sh

二、作业提交

以jar包为例，我们可以到/share/hadoop/mapreduce/ 目录下看到有hadoop-mapreduce-examples-2.7.2.jar 的示例。
提交作业

hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar pi 5 5

提交完成后，我们可以去平台上查看该作业状态。

三、错误修改

1、找不到命令

hadoop：command not found

解决办法：确认hadoop命令的位置，从该命令目录进行作业提交（一般为hadoop/bin目录下），或把hadoop命令添加到系统变量。

2、提交作业失败，requested memory > max configured

Invalid resource request, requested memory < 0, or requested memory > max configured, requestedMemory=1536, maxMemory=xxx

很明显，我们分配的内存过小。
解决办法：找到hadoop/etc目录下的yarn-site.xml，打开文件，把resource.memory-mb附近值修改为4096或更大。

---