B11050101的博客

在namenode上执行./hadoop-daemon.sh start zkfc时，发现zkfc进程未启动，且报出如下错误：很明显，是由于Zookeeper上不存在namenode的临时节点。解决方法：1、登录Zookeeper，执行./zkCli.sh进入Zookeeper终端，执行如下命令：ls /结果发现，果然没有hadoop-ha节点。2、登录namenode节点，并执行...

distcp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。1、在nn1上执行hadoop distcp hdfs://source-nn1:9000/user/xxx.txt hdfs://dest-nn1:9000/...

HA集群配置完成并启动后，namenode不能正常启动。刚启动的时候 jps看到了namenode，但是隔了一两分钟，再看namenode就不见了。如果不启动journalnode，namenode运行正常，一旦启动journalnode，则namenode过一会就会挂掉。查看namenode日志，发现报错如下：2019-10-18 15:32:36,835 INFO org.apache....

在执行hive任务的时候经常会遇到如下错误：  上层任务执行失败，导致后续任务积压，因此必须解决该问题。

HDFS健康的标准：如果所有的文件满足最小副本的要求，那么就认为文件系统是健康的。 （HDFS is considered healthy if—and only if—all files have a minimum number of replicas available）检查HDFS的健康情况：hadoop提供了fsck tool来对整个文件系统或者单独的文件、目录来进行健康状态的检查。

hive任务执行出错，map和reduce进程一直为0%查看log日志发现，报错如下：Could not deallocate container for task attemptId attempt_XXX从字面意思可知，是因为没有给任务分配container，在创建容器的过程中出错了。通过查阅资料发现，主要是以下两个原因：（1）nodemanager内存不够；（2）yarn...