进击Hadoop3：VMware上搭建hadoop3.1.1服务器Centos7集群，并设置SSH免密登录。

最新推荐文章于 2025-05-13 09:20:27 发布
最新推荐文章于 2025-05-13 09:20:27 发布
阅读量684 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_40096730/article/details/88692579

一、集群规划

    集群节点为1个NameNode，1个SecondaryNameNode，3个DataNode，如下表如示：

      NameNode，SecondaryNameNode：

NameNode：(192.168.187.201)
组件 版本 安装包路径
jdk 1.8.0_191 /usr/local/java/
hadoop 3.1.1 /usr/local/hadoop/
SecondaryNameNode：(192.168.187.202)
组件 版本 安装包路径
jdk 1.8.0_191 /usr/local/java/
hadoop 3.1.1 /usr/local/hadoop/

      DataNode：

DataNode：(192.168.187.202,192.168.187.203,192.168.187.204)
组件 版本 安装包路径
jdk 1.8.0_191 /usr/local/java/
hadoop 3.1.1 /usr/local/hadoop/

二、安装包下载

hadoop-3.1.1.tar.gz
jdk-8u191-linux-x64.rpm
 

三、服务器设置

 

1、主机名修改

    hostnamectl --static set-hostname node01
    hostnamectl --static set-hostname

最低0.47元/天 解锁文章

200万优质内容无限畅学
Hadoop2——笔记1：VMware上搭建hadoop服务器Centos7集群，并设置SSH免密登录。
背离赤道、逆光而行
11-04 781
安装好虚拟机后 修改主机名：hostnamectlset-hostnamemaster 查看自己虚拟机网关IP为多少 修改ip：vim /etc/sysconfig/network-scripts/ifcfg-ens32 其他几台节点的IP配置。 master:192.168.187.100 slave1:192.168.187.101 slave2:192.168.1...
Centos7上搭建Hadoop3.1.1集群
凌云网络之昂chan的博客
08-22 5932
分配IP 先在草稿纸上分配好IP和主机名，三台主机均能上外网，且均能互相ping通即可。 IP 主机名 192.168.85.101 node1 192.168.85.102 node2 192.168.85.103 node3 再将以上表格内的内容写入/etc/hosts中（每个都要写） echo '192.168.85.101 node1' &g...
Hadoop免密登录
wusuoweiieq的博客
08-06 711
保存路径：.ssh/authorized_keys。7. 本地机器使用私钥进行解密，获取登录密码。使用jps进行测试，结果表明登录测试完成。2. 将本地机器的公钥添加到目标机器上。4. 目标机器随机产生一个登录密码。5. 目标机器使用A的公钥进行加密。6. 将加密后的密码返回给本地机器。8. 本地机器使用登录密码进行登录。3. 目标机器接收公钥并保存。
配置Hadoop集群-免密登录
最新发布
2503_91871184的博客
05-13 436
所以，对于hadoop100来说，它要生成公钥，并拷贝到hadoop100, hadoop101, hadoop102上去。我们希望达成的目标是：希望用户在hadoop100登录到hadoop101时，hadoop101不需要输入密码。hosts文件中的主机名和ip地址是否与finalshell中的连接的主机名以及对应的虚拟机上的ip地址一致。（4）在hadoop100上，输入ssh hadoop101命令，看看是否可以免密登录？例如： 在hadoop100上，也需要去设置针对它自己的免密登录。
Hadoop之免密登录
大数据
11-25 4661
1、在每个节点生成ssh密钥 cd .ssh ssh-keygen -t rsa 2、在主节点上将公钥拷贝到一个特定文件authorized_keys cp id_rsa.pub authorized_keys 3、将authorized_keys 文件拷到下一个节点 登录下一个节点，将该节点的ssh公钥id_rsa.pub 加入authorized_keys 文件 （以58节点为例：将authorized_keys 文件拷到58，登录58，将58节点的ssh公钥i...
Hadoop集群免密登录配置
qq_42109746的博客
08-18 5305
一、引言 当我们启动Hadoop的时候，每启动一个节点就需要我们输入一次密码，但如果有很多台机器一起在跑，可能会多达几百几千个节点，很明显如果在生产环境中，这种操作绝对是不可取的。这个时候就需要我们对Hadoop进行SSH免密登录配置。 二、原理 Hadoop在启动节点的时候，其实都是系统内部在进行SSH登录，而每次进行SSH登录，就会需要我们用密码进行授权。这样解决办法就很简单了，我们只需...
Hadoop实现免密登录
weixin_73670121的博客
01-15 356
为了有效避免访问从节点时频繁输入密码的操作因此配置虚拟机ssh免密登录功能。
大数据-Hadoop-搭建(一)：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机）【CentOS6】【独立安装Apache Hadoop】
u013250861的博客
01-14 1763
大数据-Hadoop：搭建Hadoop完全分布式集群（在VMware中的Linux虚拟机） 一、VMware、Linux虚拟机环境准备 1、网络配置 1.1 查看网络IP和网关 1.1.1 查看虚拟网络编辑器 1.1.2 修改ip地址 1.1.3 查看网关 1.1.4 查看windows环境的中VMnet8网络配置(控制面板-网络和Internet-更改适配器选项) 1.2 配置Linux系统的网络IP和网关 1.2.1 查看当前网络IP 1.2.2 修改当前Linux系统的IP地址为固定地址 1.2.3
基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1.doc
02-17
"基于CentOS7的Hadoop2.7.7集群部署+hive...本文档介绍了基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1的环境搭建过程，该过程包括环境说明、软件版本说明、配置hosts和hostname、配置SSH、配置JDK等重要步骤。
Hadoop-3.1.1完全分布式集群搭建
JoJo's blog
10-22 2919
一、工作准备 1.虚拟机 安装Vmware 安装CentOs虚拟机三台 master 192.168.33.101 slave1 192.168.33.102 slave2 192.168.33.103 虚拟机配置 以master为例 修改主机名 hostname master 配置静态ip 修改ifcfg-eno16777736，该文件在/etc/sysconfig/net...
免密码ssh设置
04-28 1085
免密码ssh设置 现在确认能否不输入口令就用ssh登录localhost: $ ssh localhost 如果不输入口令就无法用ssh登陆localhost，执行下面的命令： $ ssh-keygen -t dsa -P -f ~/.ssh/id_dsa
hadoop免密登陆脚本
08-21
一个脚本命令实现免密登陆配置
hadoop免密登录设置
weixin_44589713的博客
07-14 415
主节点test00，从节点test01 主节点 执行以下命令，回车到结束，生成免秘钥 ssh-keygen -t rsa 查看是否生成 .ssh 文件 ls -la cd .ssh ls -la 返回根目录 cd ~ scp .ssh/id_rsa.pub root@192.168.181.66:~ 测试是否能直接登录从节点 ssh test01 从节点 执行以下命令，回车到结束，生成免秘钥 ssh-keygen -t rsa ls -la ll cat i.
hadoop ssh免密登录
john_deng2的博客
09-29 513
hosts的设置如下 [root@hadoop01 hadoop-2.7.7]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6...
hadoop:ssh免密登录
风铃下的铁塔
11-12 465
一、安装SSH： sudo apt install ssh 二、生成公钥和私钥： hadoop@master:/$ ssh-keygen -t rsa -P "" Generating public/private rsa key pair. Enter file in which to save the key (/home/slave1/.ssh/id_rsa): Created directory '/home/slave1/.ssh'. Your identification has been
hadoop--ssh免密登录
weixin_46361294的博客
02-28 4859
密钥对有个公钥喝私钥，私钥不能给别人，给别人的话就完蛋了，公钥要给别人，公钥会放在已授权的文件里 流程：1.生成密钥对，将密钥对拷贝到存放公钥的文件中 2.ssh访问服务器，接收到数据，首先在文件中找到是是否存在公钥， 3.存在则采用公钥加密的数据返回给对应服务器 4.接收到数据之后用私钥解密数据 配置ssh 1.首先来到家目录 2.ll -al 102 103有 104没有 102访问过 103访问过 希望配置102可以无密访问103和104 那怎么配置呢 输入以下敲三次回车 生成了一个公钥，一个
Hadoop免密登录配置
wangning8656的博客
08-17 635
Hadoop免密登录配置 root账户 1.首先生成密钥 ssh-keygen -t rsa 一路回车即可 2.进入到ssh 目录下, cd .ssh ssh-copy-id -i id_rsa.pub root@localhost 3 再次启动你的Hadoop环境，就不需要输入密码了：start-all.sh
配置hadoop的免密登录
weixin_50874065的博客
12-18 5999
今天在阿里云服务器上安装了hadoop，当我使用命令同时启动或者关闭多个节点时会提醒我输入密码，而我不知道密码是什么，感觉自己使用的话输入密码麻烦就想着配置免密登录，免密登录并不是取消了密码登录，而是后台去通过密钥帮我们登录了，以下是配置免密登录过程，非常简单 1.生成密钥对 执行下面命令一直回车生成密钥对，root用户生成密钥路径为/root/.ssh下面会有id_rsa.pub公钥和id_rsa私钥，.ssh是一个隐藏目录，需要命令查看 ssh-keygen -t rsa 2.将生成公钥发送到目标主
【hadoop】ssh localhost 免密码登陆
u011762604的博客
06-05 707
首先ssh-keygen 生成秘钥,然后ssh-copy-id localhost 加到本地.
centos7hadoop3.1.1集群搭建
03-24
### 在 CentOS 7 上搭建 Hadoop 3.1.1 分布式集群 #### 配置环境 在 CentOS 7 上搭建 Hadoop 3.1.1 的分布式集群涉及多个步骤，包括安装 Java 环境、配置 SSH 密钥登录以及设置 Hadoop 的核心配置文件。以下是详细的说明： #### 安装 JDK 和 设置 JAVA_HOME Hadoop 运行依赖于 Java 环境，因此需要先安装 JDK 并配置 `JAVA_HOME` 变量[^2]。 ```bash sudo yum install java-1.8.0-openjdk-devel -y export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk echo &#39;export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk&#39; >> ~/.bashrc source ~/.bashrc ``` #### 下载并解压 Hadoop 下载 Hadoop 3.1.1 压缩包，并将其解压至指定目录 `/usr/local/hadoop` 中。 ```bash wget https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz tar -zxf hadoop-3.1.1.tar.gz -C /usr/local/ mv /usr/local/hadoop-3.1.1 /usr/local/hadoop ``` #### 配置免密 SSH 登录 为了实现节点间的无密码通信，需配置 SSH 免密登录[^4]。 ```bash ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ssh localhost ``` #### 修改 Hadoop 配置文件 进入 Hadoop 配置文件所在的目录，并依次修改以下文件的内容。 ##### core-site.xml 编辑 `core-site.xml` 文件，在 `<configuration>` 节点中添加如下内容以定义 NameNode 地址和临时数据存储路径。 ```xml <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> ``` ##### hdfs-site.xml 编辑 `hdfs-site.xml` 文件，用于配置副本数量和其他参数。 ```xml <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/data/datanode</value> </property> ``` ##### mapred-site.xml 重命名模板文件 `mapred-site.xml.template` 后进行编辑，指定 MapReduce 使用 YARN 框架运行。 ```xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> ``` ##### yarn-site.xml 编辑 `yarn-site.xml` 文件，设定 ResourceManager 和 NodeManager 的地址以及其他必要属性。 ```xml <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> ``` #### 初始化 HDFS 文件系统 执行以下命令初始化 HDFS 名称空间[^3]。 ```bash /usr/local/hadoop/bin/hdfs namenode -format ``` #### 启动 Hadoop 集群服务 启动 HDFS 和 YARN 服务后，可以通过浏览器访问 Web UI 页面验证部署情况。 ```bash start-dfs.sh start-yarn.sh ``` 通过火狐或其他支持的浏览器输入对应的 IP 地址与端口来查看状态页面，例如：http://node1:50070 或 http://node1:8088。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值