在VMware中搭建多节点Hadoop集群（全系列篇）

最新推荐文章于 2024-04-28 04:40:43 发布

原创最新推荐文章于 2024-04-28 04:40:43 发布 · 786 阅读

5 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

38 篇文章

订阅专栏

本文提供详细的教程和资源链接，指导读者如何下载及安装VMware虚拟机，使用VMware搭建多台相同的Linux虚拟机，包括CentOS镜像下载与安装。进一步，文章深入介绍如何搭建多节点分布式Hadoop集群，基于ZooKeeper实现Hadoop高可用集群，并在Hadoop环境中安装zookeeper、hive、kafka等常用组件。此外，还提供了常见问题的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文通过学习参考多篇博客及文章，精选了其中叙述比较详细，非常适合初学者练习的文章，具体链接如下：

1、下载及安装VMware虚拟机

1.1 从官网注册下载安装VM：https://blog.youkuaiyun.com/hao5119266/article/details/89198275        

1.2 从网盘分享下载安装VM：https://blog.youkuaiyun.com/Fly_1213/article/details/90897738

2、使用VMware搭建多台一模一样的Linux虚拟机

（ubuntu与centos的对比和选择）：https://blog.youkuaiyun.com/lxy6520177/article/details/91492745
（集群的节点个数为什么要为奇数个）：https://blog.youkuaiyun.com/u010476994/article/details/79806041
（xshell+xftp破解版下载安装以及使用教程）：https://blog.youkuaiyun.com/qq_40637313/article/details/89138948

2.1 centos镜像下载及安装：https://blog.youkuaiyun.com/qq_39135287/article/details/83993574

2.2 牛人1教程：https://blog.youkuaiyun.com/cndmss/article/details/80149952

2.3 牛人2教程：https://blog.youkuaiyun.com/xiaos76/article/details/103230406

3、搭建多节点分布式Hadoop集群

3.1 牛人1教程：https://blog.youkuaiyun.com/liqian_yu/article/details/103211686

3.2 牛人2教程：https://blog.youkuaiyun.com/bean771606540/article/details/102847194

3.3 牛人3教程：https://blog.youkuaiyun.com/qq_32297447/article/details/79267327

3.4 牛人4教程：https://blog.youkuaiyun.com/qq_41022965/article/details/90809583

3.5 牛人5教程：https://blog.youkuaiyun.com/code__online/article/details/80178032

4、基于 ZooKeeper 搭建 Hadoop 高可用集群

4.1 精选文章：https://www.jb51.net/article/163766.htm

4.2 NameNode的ZKFC机制：https://www.jianshu.com/p/03c8b54a7cd8

4.3 kafka集群及监控部署：https://www.cnblogs.com/hukey/p/10763821.html

5、在配置好的hadoop环境中安装常用组件（zookeeper、hive、kafka、flume、flink、storm、python、scala等）

5.1 参考文章：https://blog.youkuaiyun.com/u010199356/article/details/87538403

6、常见问题解决

6.1 mail提示问题：https://blog.youkuaiyun.com/qq_42859864/article/details/84937558

6.2 命令不能用问题：https://blog.youkuaiyun.com/nasohaohao/article/details/100519129

6.3 HA两个节点都出现Standby的解决方法：https://www.cnblogs.com/zlslch/p/9191053.html

6.4 datanode启动失败：https://blog.youkuaiyun.com/psp0001060/article/details/90110954
                     https://blog.youkuaiyun.com/ZT7524/article/details/93092928