Mapreduce框架的相关问题

最新推荐文章于 2024-03-20 07:30:00 发布

whisky丶

最新推荐文章于 2024-03-20 07:30:00 发布

阅读量277

点赞数

本文探讨了Hadoop中jobtracker存在的单点故障问题，并分析了其原因在于内存操作及数据持久化的延迟。尽管Hadoop提供了高容错性的文件系统和MapReduce框架，但关键管理节点的故障恢复仍面临挑战。文章还介绍了通过Zookeeper来提高jobtracker的可用性，但这种方法无法恢复已中断的任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

jobtracker的单点故障：

jobtracker和hdfs的namenode一样也存在单点故障，
单点故障一直是hadoop被人诟病的大问题，
为什么hadoop的做的文件系统和mapreduce计算框架都是高容错的，但是最重要的管理节点的故障机制却如此不好，我认为主要是namenode和jobtracker在实际运行中都是在内存操作，而做到内存的容错就比较复杂了，只有当内存数据被持久化后容错才好做，namenode和jobtracker都可以备份自己持久化的文件，但是这个持久化都会有延迟，因此真的出故障，任然不能整体恢复，另外hadoop框架里包含zookeeper框架，zookeeper可以结合jobtracker，用几台机器同时部署jobtracker，保证一台出故障，有一台马上能补充上，不过这种方式也没法恢复正在跑的mapreduce任务。