datanode进程宕掉解决方案

异常描述：

hadoop跑一段时间以后几台datanode无故宕掉，查看datanode的log无异常抛出，查看namenode的log抛出org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException: No lease on /data/hive/tmp/异常

异常分析：

datanode被kill掉，一般只有两种可能，datanode节点自身出现问题，进程被强制kill掉；

namenode检测datanode异常，主动发出kill命令将datanode干掉

解决思路：

排查datanode机器的硬件、网络等环境，确认是否是第一种情况；

修改namenode检查心跳的时间间隔，减少因网络问题造成的误杀，修改namenode容错的阈值，减少因非致命因素导致的误杀。