Mapreduce框架的相关问题

本文探讨了Hadoop中jobtracker存在的单点故障问题,并分析了其原因在于内存操作及数据持久化的延迟。尽管Hadoop提供了高容错性的文件系统和MapReduce框架,但关键管理节点的故障恢复仍面临挑战。文章还介绍了通过Zookeeper来提高jobtracker的可用性,但这种方法无法恢复已中断的任务。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

jobtracker的单点故障:


jobtracker和hdfs的namenode一样也存在单点故障,
单点故障一直是hadoop被人诟病的大问题,
为什么hadoop的做的文件系统和mapreduce计算框架都是高容错的,但是最重要的管理节点的故障机制却如此不好,我认为主要是namenode和jobtracker在实际运行中都是在内存操作,而做到内存的容错就比较复杂了,只有当内存数据被持久化后容错才好做,namenode和jobtracker都可以备份自己持久化的文件,但是这个持久化都会有延迟,因此真的出故障,任然不能整体恢复,另外hadoop框架里包含zookeeper框架,zookeeper可以结合jobtracker,用几台机器同时部署jobtracker,保证一台出故障,有一台马上能补充上,不过这种方式也没法恢复正在跑的mapreduce任务。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值