你是怎么处理Hadoop宕机的问题的？

最新推荐文章于 2025-10-17 16:19:17 发布

原创最新推荐文章于 2025-10-17 16:19:17 发布 · 739 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

大数据面试同时被 2 个专栏收录

87 篇文章

订阅专栏

hadoop

15 篇文章

订阅专栏

本文介绍了如何通过调整YARN配置来限制MapReduce任务内存和避免NameNode过载：降低单任务内存限制并优化高峰期写入策略。

                    
                    如果是MapReduce造成的系统宕机，此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）。
如果是写入文件过量造成NameNode宕机，那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度，高峰期的时候用Kafka进行缓存，高峰期过去数据同步会自动跟上。