使用虚拟机搭建hadoop集群比较麻烦,限制又比较大。可以在各个云服务器厂商以首单优惠价格买到一台服务器,博主就在hw、bd、tx各买了一台,配置如下:
。
搭建集群采用的某硅谷hadoop3的搭建方法,版本为hadoop3.1.3,当我配置映射、ssh免密登录、写好同步脚本、搭建好环境、修改集群配置文件之后,启动集群发现每个节点上只有datanode和nodemanager,却没有nn、rm、2nn等进程。
搞了好久才发现原来是配置的映射问题,最开始图省事,每台的映射是直接复制粘贴过去的,但是当前服务器的映射应该使用当前服务器的内网ip,而不是公网ip。例如bd这台服务器的映射应该是到另外两台是公网ip,当前的应该是内网ip。
搭建Hadoop集群:公网IP映射错误导致的服务缺失
博主分享了搭建Hadoop集群过程中的经验,发现由于使用了公网IP映射,导致启动时只有datanode和nodemanager,修正方法是将映射调整为内网IP。通过实际操作解释了问题与解决方案。
5605

被折叠的 条评论
为什么被折叠?



