愚夫

集群出现大面积任务失败，表现为mapreduce刚启动不久，就抛出异常，查看log可以看到，Status : FAILEDjava.lang.Throwable: Child Errorat org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:271)Caused by: java.io.IOException: Task...

重新启动之前坏掉的一个节点的Datanode，发现进程没有启动成功。查看相应日志，[code="log"]ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: org.apache.hadoop.ipc.RemoteException: java.io.IOException: verifyNodeRegistration: unkn...

系统上线两年多了，最近发现任务积压严重，当然与任务越来越多有关系，但也不能放任不管。然后开始找原因，通过看日志，发现JT占用的内存挺大，虽然我内存给的20g，但也不能吃住不放啊，导致服务器LOAD值也有点偏高，所以断定是出在JT这里。[b]1.mapred.jobtracker.completeuserjobs.maximum[/b]默认100The maximum numbe...