完全分布式部署Hadoop_在docker部署hadoop完全分布式怎么修改主机名-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_40434214/article/details/88653616

本文详细介绍了如何在三台虚拟机上进行Hadoop的完全分布式部署，包括虚拟机准备、主机名设置、SSH无密码登录、集群时间同步、配置Hadoop集群、使用scp指令以及启动和测试集群的步骤。内容涵盖了网络配置、时间服务同步、安全认证和集群管理等关键环节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

完全分布式部署Hadoop

分析：
1）准备3台客户机（关闭防火墙、静态ip、主机名称）
a) 配置主机名及主机名与ip的映射
vi /etc/sysconfig/network（修改主机名）
vi /etc/hosts（配置主机名与ip的映射关系）

2）安装jdk（rpm）
3）配置环境变量
	vi ~/.bash_profile
	加入俩行：
	export JAVA_HOME=/usr/java/default
	PATH=$PATH:$JAVA_HOME/bin

4）安装ssh，配置三台主机免密钥登录

5）集群时间同步
6）配置hadoop集群
7） scp复制
8）启动测试集群

1. 虚拟机准备

2. 主机名设置

3. SSH无密码登录

（1）进入到我的home目录
cd ~/.ssh
（2）生成公钥和私钥：
ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上
ssh-copy-id 192.168.1.102
.ssh文件夹下的文件功能解释
（1）~/.ssh/known_hosts ：记录ssh访问过计算机的公钥(public key)，即是访问的其他主机的公钥
（2）id_rsa ：生成的私钥
（3）id_rsa.pub ：生成的公钥
（4）authorized_keys ：存放授权过得无秘登录服务器公钥即是其他主机发过来的公钥

4、集群时间同步

时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每日十分钟，同步一次时间。
配置时间同步：
1）时间服务器配置
（1）检查ntp是否安装
[root@hadoop102 桌面]# rpm -qa|grep ntp
ntp-4.2.6p5-10.el6.centos.x86_64
fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-10.el6.centos.x86_64
（2）修改ntp配置文件
vi /etc/ntp.conf
修改内容如下
a）修改1
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
b）修改2
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
c）添加3
server 127.127.1.0
fudge 127.127.1.0 stratum 10
3）修改/etc/sysconfig/ntpd 文件
vim /etc/sysconfig/ntpd
增加内容如下
SYNC_HWCLOCK=yes
4）重新启动ntpd
[root@hadoop102 桌面]# service ntpd status
ntpd 已停
[root@hadoop102 桌面]# service ntpd start
正在启动 ntpd： [确定]
5）执行：
chkconfig ntpd on
2）其他机器配置（必须root用户）
（1）在其他机器配置10分钟与时间服务器同步一次
[root@hadoop103 hadoop-2.7.2]# crontab -e
编写脚本
*/10 * * * * /usr/sbin/ntpdate hadoop-001
（2）修改任意机器时间
date -s “2015-9-11”
（3）十分钟后查看机器是否与时间服务器同步
date

5、配置集群

（1）core-site.xml

 <!-- 指定HDFS中NameNode的地址 -->
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://hadoop-001:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hadoop/tmp</value>
	</property>

（2）Hdfs
hadoop-env.sh

export JAVA_HOME=/usr/java/default

hdfs-site.xml

<configuration>	
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop-003:50090</value>
    </property>
</configuration>

slaves

Hadoop-001
Hadoop-002
Hadoop-003

（3）yarn

yarn-env.sh

export JAVA_HOME=/usr/java/default

yarn-site.xml

<configuration>   
    <!-- Site specific YARN configuration properties   -->   
    <!-- reducer获取数据的方式 -->         
    <property>             
        <name>yarn.nodemanager.aux-services</name>             			       		           <value>mapreduce_shuffle</value>         
    </property>      
    <!-- 指定YARN的ResourceManager的地址 -->          
    <property>                               	                                               <name>yarn.resourcemanager.hostname</name>                
        <value>Hadoop-002</value>         
    </property>          
</configuration>