大数据之Hadoop（完全分布式运行模式）_大数据分布式运行-优快云博客

本文链接：https://blog.youkuaiyun.com/xiekengli8279/article/details/111594197

本文详细介绍了如何搭建一个Hadoop完全分布式集群，包括虚拟机准备、集群配置、SSH无密登录、集群启动和时间同步等关键步骤，旨在帮助读者理解和实践Hadoop集群的部署与管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

完全分布式运行模式

- 主要步骤

主要步骤

（1）准备3台客户机（关闭防火墙、静态ip、主机名称）
（2）安装JDK
（3）配置环境变量
（4）安装Hadoop
（5）配置环境变量
（6）配置集群
（7）单点启动
（8）配置ssh
（9）群起并测试集群

4.3.1 虚拟机准备

4.3.2 编写集群分发脚本 xsync

1、scp（secure copy）安全拷贝
（1）scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）
（2）基本语法：scp -r $p d i r /$ fname $u s e r @ h a d o o p$ host: $p d i r /$ fname
（3）解释：命令递归要拷贝的文件路径/名称目的用户@主机:目的路径/名称
（4）案例实操
（a）在hadoop101上，将hadoop101中的/opt/module目录下的软件拷贝到hadoop102上。
scp -r /opt/module root@hadoop101:/opt/module
在这里插入图片描述
同理将hadoop101上的/opt/module也拷贝到103、104。这个时候再hadoop102、103、104的/opt文件夹下就可以看到module了。

（b）修改/opt/module目录的所有者，改为atguigu：sudo chown atguigu:atguigu -R /opt/module

（c）将hadoop101中的/etc/profile文件拷贝到hadoop102、103、104：scp /etc/profile root@hadoop102 /etc/profile