进击Hadoop3：VMware上搭建hadoop3.1.1服务器Centos7集群，并设置SSH免密登录。

最新推荐文章于 2025-05-13 09:20:27 发布
最新推荐文章于 2025-05-13 09:20:27 发布
阅读量684 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40096730/article/details/88692579

一、集群规划

    集群节点为1个NameNode，1个SecondaryNameNode，3个DataNode，如下表如示：

      NameNode，SecondaryNameNode：

NameNode：(192.168.187.201)
组件 版本 安装包路径
jdk 1.8.0_191 /usr/local/java/
hadoop 3.1.1 /usr/local/hadoop/
SecondaryNameNode：(192.168.187.202)
组件 版本 安装包路径
jdk 1.8.0_191 /usr/local/java/
hadoop 3.1.1 /usr/local/hadoop/

      DataNode：

DataNode：(192.168.187.202,192.168.187.203,192.168.187.204)
组件 版本 安装包路径
jdk 1.8.0_191 /usr/local/java/
hadoop 3.1.1 /usr/local/hadoop/

二、安装包下载

hadoop-3.1.1.tar.gz
jdk-8u191-linux-x64.rpm
 

三、服务器设置

 

1、主机名修改

    hostnamectl --static set-hostname node01
    hostnamectl --static set-hostname

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hadoop2——笔记1：VMware上搭建hadoop服务器Centos7集群，并设置SSH免密登录。
背离赤道、逆光而行
11-04 781
安装好虚拟机后 修改主机名：hostnamectlset-hostnamemaster 查看自己虚拟机网关IP为多少 修改ip：vim /etc/sysconfig/network-scripts/ifcfg-ens32 其他几台节点的IP配置。 master:192.168.187.100 slave1:192.168.187.101 slave2:192.168.1...
hadoop ssh免密登录
john_deng2的博客
09-29 513
hosts的设置如下 [root@hadoop01 hadoop-2.7.7]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6...
Hadoop免密登录
wusuoweiieq的博客
08-06 711
保存路径：.ssh/authorized_keys。7. 本地机器使用私钥进行解密，获取登录密码。使用jps进行测试，结果表明登录测试完成。2. 将本地机器的公钥添加到目标机器上。4. 目标机器随机产生一个登录密码。5. 目标机器使用A的公钥进行加密。6. 将加密后的密码返回给本地机器。8. 本地机器使用登录密码进行登录。3. 目标机器接收公钥并保存。
配置Hadoop集群-免密登录
最新发布
2503_91871184的博客
05-13 436
所以，对于hadoop100来说，它要生成公钥，并拷贝到hadoop100, hadoop101, hadoop102上去。我们希望达成的目标是：希望用户在hadoop100登录到hadoop101时，hadoop101不需要输入密码。hosts文件中的主机名和ip地址是否与finalshell中的连接的主机名以及对应的虚拟机上的ip地址一致。（4）在hadoop100上，输入ssh hadoop101命令，看看是否可以免密登录？例如： 在hadoop100上，也需要去设置针对它自己的免密登录。
Hadoop之免密登录
大数据
11-25 4661
1、在每个节点生成ssh密钥 cd .ssh ssh-keygen -t rsa 2、在主节点上将公钥拷贝到一个特定文件authorized_keys cp id_rsa.pub authorized_keys 3、将authorized_keys 文件拷到下一个节点 登录下一个节点，将该节点的ssh公钥id_rsa.pub 加入authorized_keys 文件 （以58节点为例：将authorized_keys 文件拷到58，登录58，将58节点的ssh公钥i...
Hadoop集群免密登录配置
qq_42109746的博客
08-18 5305
一、引言 当我们启动Hadoop的时候，每启动一个节点就需要我们输入一次密码，但如果有很多台机器一起在跑，可能会多达几百几千个节点，很明显如果在生产环境中，这种操作绝对是不可取的。这个时候就需要我们对Hadoop进行SSH免密登录配置。 二、原理 Hadoop在启动节点的时候，其实都是系统内部在进行SSH登录，而每次进行SSH登录，就会需要我们用密码进行授权。这样解决办法就很简单了，我们只需...
Hadoop实现免密登录
weixin_73670121的博客
01-15 356
为了有效避免访问从节点时频繁输入密码的操作因此配置虚拟机ssh免密登录功能。
免密码ssh设置
04-28 1085
免密码ssh设置 现在确认能否不输入口令就用ssh登录localhost: $ ssh localhost 如果不输入口令就无法用ssh登陆localhost，执行下面的命令： $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa
hadoop免密登录设置
weixin_44589713的博客
07-14 415
主节点test00，从节点test01 主节点 执行以下命令，回车到结束，生成免秘钥 ssh-keygen -t rsa 查看是否生成 .ssh 文件 ls -la cd .ssh ls -la 返回根目录 cd ~ scp .ssh/id_rsa.pub root@192.168.181.66:~ 测试是否能直接登录从节点 ssh test01 从节点 执行以下命令，回车到结束，生成免秘钥 ssh-keygen -t rsa ls -la ll cat i.
hadoop:ssh免密登录
风铃下的铁塔
11-12 465
一、安装SSH： sudo apt install ssh 二、生成公钥和私钥： hadoop@master:/$ ssh-keygen -t rsa -P "" Generating public/private rsa key pair. Enter file in which to save the key (/home/slave1/.ssh/id_rsa): Created directory '/home/slave1/.ssh'. Your identification has been
hadoop--ssh免密登录
weixin_46361294的博客
02-28 4859
密钥对有个公钥喝私钥，私钥不能给别人，给别人的话就完蛋了，公钥要给别人，公钥会放在已授权的文件里 流程：1.生成密钥对，将密钥对拷贝到存放公钥的文件中 2.ssh访问服务器，接收到数据，首先在文件中找到是是否存在公钥， 3.存在则采用公钥加密的数据返回给对应服务器 4.接收到数据之后用私钥解密数据 配置ssh 1.首先来到家目录 2.ll -al 102 103有 104没有 102访问过 103访问过 希望配置102可以无密访问103和104 那怎么配置呢 输入以下敲三次回车 生成了一个公钥，一个
hadoop免密登陆脚本
08-21
一个脚本命令实现免密登陆配置
Hadoop免密登录配置
wangning8656的博客
08-17 635
Hadoop免密登录配置 root账户 1.首先生成密钥 ssh-keygen -t rsa 一路回车即可 2.进入到ssh 目录下, cd .ssh ssh-copy-id -i id_rsa.pub root@localhost 3 再次启动你的Hadoop环境，就不需要输入密码了：start-all.sh
配置hadoop的免密登录
weixin_50874065的博客
12-18 5999
今天在阿里云服务器上安装了hadoop，当我使用命令同时启动或者关闭多个节点时会提醒我输入密码，而我不知道密码是什么，感觉自己使用的话输入密码麻烦就想着配置免密登录，免密登录并不是取消了密码登录，而是后台去通过密钥帮我们登录了，以下是配置免密登录过程，非常简单 1.生成密钥对 执行下面命令一直回车生成密钥对，root用户生成密钥路径为/root/.ssh下面会有id_rsa.pub公钥和id_rsa私钥，.ssh是一个隐藏目录，需要命令查看 ssh-keygen -t rsa 2.将生成公钥发送到目标主
【hadoop】ssh localhost 免密码登陆
u011762604的博客
06-05 707
首先ssh-keygen 生成秘钥,然后ssh-copy-id localhost 加到本地.
搭建集群环境（CentOS7+Hadoop2.6.1+SSH）
weixin_39400271的博客
04-08 660
本篇介绍如何使用虚拟机搭建Hadoop集群，此例搭建1个master和2个slave，如要更多的slave，方法如此类推。 现在已经有安装了一台虚拟机， 1、查看虚拟机的虚拟网络，设置为NAT模式： 编辑——>虚拟网络编辑器 进入到虚拟网络编辑器界面后，单击VMnet8， 这里可以查看网关IP，默认是192.168.112.2，这个很重要...
hadoop集群配置--免密登录配置
风
10-01 6997
Hadoop集群配置第一步：免密登录配置
hadoop-配置ssh免密登录
m0_74035163的博客
03-17 619
上面是对node1配置的node123的免密登录，同样也要配置node2，node3对node123的免密登录，步骤和上面完全一样。然后对hadoop用户设置密码输入下面的指令，根据提示输入密码即可。然后根据提示输入 yes和你得root密码（123456）然后根据提示输入 yes和你得root密码（123456）然后根据提示输入 yes和你得root密码（123456）然后切换到Hadoop用户进行免密登录的配置。然后给node1配置node2的免密登录。然后给node1配置node3的免密登录。
Hadoop三机集群实现免密登录
ppj__的博客
03-10 1200
一、基本原理1. 虚拟机101在本机生成一对密钥，2.虚拟机101将拷贝给虚拟机102，在102中有一个名为的文件，这个文件专门存放授权远程登录的公钥，所以101的公钥以及101的用户名、IP等信息就被存放于此3.虚拟机101向虚拟机102发送连接请求4.虚拟机102收到请求，于是在authorized_keys文件中进行匹配，如果匹配信息成功，则会生成一个随机的字符串，失败则要求对方输入密码5.匹配成功，102生成一个随机的字符串，并以后发送给1016.101接收后，以自己生成的。
centos7hadoop3.1.1集群搭建
03-24
在 CentOS 7 上搭建 Hadoop 3.1.1 的分布式集群涉及多个步骤，包括安装 Java 环境、配置 SSH 密钥登录以及设置 Hadoop 的核心配置文件。以下是详细的说明： #### 安装 JDK 和 设置 JAVA_HOME Hadoop 运行依赖于 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值