先电版大数据平台搭建问题之down机问题

在部署Hadoop集群时,遇到一个关键问题:当安装进度达到约70%时,master节点会自动关机并无法启动。通过检查/var/log/libvirt/qemu/下的云主机日志,发现原因是由于在一个节点同时作为master和slaver,导致内存使用量激增,最终耗尽了云平台控制节点的内存,造成集群崩溃。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在部署hadoop集群过程中,每当安装进行大约百分之70左右,master节点会出现崩掉现象,自动关机,然后无法启动实例。经查/var/log/libvirt/qemu/下 相关云主机日志文件。

解决步骤:

1, 查看节点内存使用率,控制节点内存紧缺,计算节点内存充足。
2, 测试,发现web上创建云主机优先分配资源在控制节点上,但控制节点资源不足
3, 手动调度云主机使用 计算节点资源 命令: nova boot --flavor master --image master.hadoop --nic net-id=ede376f1-6446-4c3f-a4ba-70503e13d659 --availability-zone nova:compute master

总结:

此集群并非完全分布式集群,由两个节点构成,其中一个节点既为master 节点,也是slaver节点。导致在搭建平台过程中内存使用量急剧增加,云平台控制节点内存使用完毕,最终导致平台崩掉。


评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值