Hadoop集群常见的错误

时间不同步引起的错误

运行MapReduce时出现这种错误，是由于集群中没有设置时间同步(设置时间同步参照http://download.youkuaiyun.com/download/cdl2008sky/9381519)

15/04/21 15:30:08 INFO mapreduce.Job: Task Id : attempt_1429584224671_0003_m_000007_1, Status : FAILED
Container launch failed for container_1429584224671_0003_01_000017 : org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container. 
This token is expired. current time is 1429630321325 found 1429602008427
  at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
  at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
  at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
  at java.lang.reflect.Constructor.newInstance(Constructor.java:526)
  at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.instantiateException(SerializedExceptionPBImpl.java:168)
  at org.apache.hadoop.yarn.api.records.impl.pb.SerializedExceptionPBImpl.deSerialize(SerializedExceptionPBImpl.java:106)
  at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$Container.launch(ContainerLauncherImpl.java:155)
  at org.apache.hadoop.mapreduce.v2.app.launcher.ContainerLauncherImpl$EventProcessor.run(ContainerLauncherImpl.java:369)
  at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
  at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
  at java.lang.Thread.run(Thread.java:745)

内存不够引起的错误

Container [pid=7830,containerID=container_1397098636321_27548_01_000297] is running beyond physical memory limits. 
Current usage: 1.4 GB of 1 GB physical memory used; 2.7 GB of 4.2 GB virtual memory used. Killing container.

原因：
该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的值，当YARN计算的用户程序所需虚拟内存值大于计算出来的值时，就会报出以上错。默认不设置的情况下，ResourceManager会给每个map、reduce任务分配1G大小的物理内存
解决：
设置mapred-site.xml:
mapreduce.map.memory.mb: 4096
mapreduce.reduce.memory.mb: 8192
Map容器和Reduce容器的内存大小。上面的数字是根据你机器的内存大小来设置的。reduce一般要比map大。

同时设置JVM的最大内存值
mapreduce.map.java.opts: -Xmx3072m
mapreduce.reduce.java.opts: -Xmx6144m
Map和Reduce任务所允许的最大内存。分别比上面两个数字要小。因为还得分配给yarn内存处理。

    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>4096</value>
    </property>

    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx4096M</value>
    </property>

    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>6144</value>
    </property>

    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx6144M</value>
    </property>

DFS访问权限问题

main" org.apache.hadoop.security.AccessControlException: Permission denied
在 hdfs-site.xml 总添加参数：
 <property>
<name>dfs.permissions</name>
<value>false</value>
</property>  
</configuration>

线程数量不够问题

org.apache.hadoop.hdfs.DFSClient: DataStreamer Exception
java.lang.OutOfMemoryError: unable to create new native thread

程序里面打开的线程太多，系统一般默认是1024 （用ulimit -a可以看到）。
一般修改一般来说，修改ulimit的数值，只需要修改/etc/security/limits.conf即可，但是这个参数需要修改/etc/security/limits.d/90-nproc.conf
[root@datanode5 hadoop]# more /etc/security/limits.d/90-nproc.conf
# Default limit for number of user’s processes to prevent
# accidental fork bombs.
# See rhbz #432903 for reasoning.

* soft nproc 65535
* hard nproc 65535

说明：
* 代表针对所有用户
noproc 是代表最大进程数

nameNode格式化问题

ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和dfs.name.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录。
再执行format命令
hadoop namenode -format

安全模式导致的错误

org.apache.hadoop.dfs.SafeModeException: Cannot delete …, Name node is in safe mode
当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。
Shell 命令
hadoop dfsadmin -safemode leave
参数value说明如下：
Enter : 进入安全模式
Leave ：强制NameNode离开安全模式
Get ： 返回安全模式是否开启的信息
Wait：等待，一直到安全模式结束。

NameNode和DataNode的namespaceID不一致

方法有两种：
第一种，参考1.5，删除DataNode的所有资料（及将集群中每个datanode的/hdfs/data/current中的VERSION删掉，然后执行hadoopnamenode-format重启集群。
第二种，改每个DataNode的namespaceID（位于/hdfs/data/current/VERSION文件中使其一致。