Hadoop集群工作时启动那些进程

本文详细介绍了Hadoop集群中的核心组件,包括NameNode作为主服务器的角色,SecondaryNameNode的检查点功能,DataNode的数据存储职责,ResourceManage的调度任务,以及JournalNode在高可用性中的作用。这些组件共同确保了Hadoop分布式文件系统的稳定性和高效运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.NameNode它时Hadoop中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问,保存由metadata.

2.SecondaryNameNode它不是NameNode的冗余守护进程,而是提供周期检查点和清理任务。帮助NN合并EditsLog,减少NN启动时间。

3.DataNode负责管理连接到节点的存储(一个集群可以有多个节点),每个存储数据的节点运行一个DataNode守护线程。

4.ResourcreManager(Job Tracker),负责调度DataNode上的工作,每个DataNode有一个TaskTracker,它执行实际工作。

5.ModeManager(Task Tracker)执行实际任务。

6…DFSZKFailoverController高可用时它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。

7.JournalNode 高可用情况下存放namenode的editlog文件.

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值