先电版大数据平台搭建问题之down机问题

最新推荐文章于 2024-04-28 05:29:18 发布

Truman1998

最新推荐文章于 2024-04-28 05:29:18 发布

阅读量1.8k

点赞数

文章标签： Iaas

本文链接：https://blog.youkuaiyun.com/wrnxrbb/article/details/80563084

版权

在部署Hadoop集群时，遇到一个关键问题：当安装进度达到约70%时，master节点会自动关机并无法启动。通过检查/var/log/libvirt/qemu/下的云主机日志，发现原因是由于在一个节点同时作为master和slaver，导致内存使用量激增，最终耗尽了云平台控制节点的内存，造成集群崩溃。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在部署hadoop集群过程中，每当安装进行大约百分之70左右，master节点会出现崩掉现象，自动关机，然后无法启动实例。经查/var/log/libvirt/qemu/下相关云主机日志文件。

解决步骤：

1，查看节点内存使用率，控制节点内存紧缺，计算节点内存充足。

2，测试，发现web上创建云主机优先分配资源在控制节点上，但控制节点资源不足

3，手动调度云主机使用计算节点资源命令： nova boot --flavor master --image master.hadoop --nic net-id=ede376f1-6446-4c3f-a4ba-70503e13d659 --availability-zone nova:compute master

总结：

此集群并非完全分布式集群，由两个节点构成，其中一个节点既为master 节点，也是slaver节点。导致在搭建平台过程中内存使用量急剧增加，云平台控制节点内存使用完毕，最终导致平台崩掉。