hadoop集群搭建的无密登陆(密钥)---ssh(ssh-keygen -t rsa;scp ../id_rsa.pub >> ./authorized_keys)

最新推荐文章于 2025-05-28 00:03:08 发布
最新推荐文章于 2025-05-28 00:03:08 发布
阅读量1.7w 收藏 26
点赞数 9
CC 4.0 BY-SA版权
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AnneQiQi/article/details/51174060
本文详细介绍了如何在Hadoop集群中设置SSH无密码登录，包括生成RSA密钥对、创建authorized_keys文件、权限设置以及密钥的传输和追加，以实现集群间节点的免密码登陆，简化大规模集群管理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoop集群无密登陆示意图：



#生成ssh免登陆密钥

#在没生成密钥的时候远程登陆是需要输入密码的，而且每一次启动hdfs的节点都是需要键入密码，

#对应大量集群的hadoop这种问题是十分恶心的，基本上不可行。

无密码状态：

红色框框就是在远程登陆时需要输入密码！


最低0.47元/天 解锁文章

200万优质内容无限畅学
纯手动搭建hadoop3.x集群记录002_安装hadoop3.x_创建xsync分发工具_配置ssh免密登录---大数据之Hadoop3.x工作笔记0164
添柴程序猿的专栏
02-22 451
这里使用rsync, 进行把102上的数据比如这里是hadoop-3.1.3文件夹,同步到103上的对应的指定的那个目录中去,而且这个时候,不是简单的复制,而是,他发现了103上,哪些文件跟102上的不一样,只同步不一样的地方,比如103上没有哪个文件,他只会把那个文件。5.然后我们再弄一个xsync,这个可以自动的帮我们复制指定的文件,文件夹到,集群中的所有的机器,并且自动放到跟源文件一样的目录。然后ls看一下,这里注意执行命令要在账户的根目录,比如在root的根目录,或者是在 别的用户的根目录,
从头搭hadoop集群--分布式hadoop集群搭建
weixin_66158110的博客
06-02 1595
在bigdata03左边的输入框输入/opt，点击进入install_packages,将下载好的hadoop压缩包拖入。以下步骤在bigdata03、bigdata04、bigdata05上均要各自手动执行一次，共执行三次。（3）将4个xml文件拖到/opt/softs/hadoop3.1.3/etc/hadoop目录下。bigdata03、04、05分别改为bigdata03、bigdata04、bigdata05。bigdata03、04、05分别改为73、74、75。
cat ~/.ssh/id_rsa.pub to ~/.ssh/authorized_keys
weixin_33979363的博客
07-29 8074
cat ~/.ssh/id_rsa.pub 复制内容 ssh 10.10x.xx.xx su - webuser vim ~/.ssh/authorized_keys 粘贴进来 转载于:https://www.cnblogs.com/iwangzheng/p/4686428.html
~/.ssh/authorized_keys和/.ssh/~/.ssh/id_rsa.pub有什么关系
m0_57236802的博客
12-29 1328
是客户端生成的公钥。是服务器用来存储允许登录的公钥列表的文件。通过将id_rsa.pub中的公钥内容添加到服务器的文件，客户端用户可以通过 SSH 密钥认证登录到服务器。
SSH authorized_keys 文件详解
最新发布
vortex5的博客
05-28 1788
SSH公钥认证的核心配置文件authorized_keys是实现安全登录的关键组件。本文系统介绍了该文件的位置、权限要求（600/700）、语法结构（选项+密钥类型+Base64数据+注释）及常见密钥类型（RSA/ECDSA/Ed25519等），重点解析了限制命令执行、IP来源等高级选项的配置方法。同时探讨了文件的格式容错性（续行符/空行处理）和常见问题排查（权限/SELinux/密钥匹配），并提供了多种应用场景的配置示例，为系统管理员和开发者提供了全面的配置参考指南。
./.ssh目录下的authorized_keys, id_rsa, id_rsa.pub, known_hosts使用方法解读
qq_33163046的博客
01-22 1万+
1.id_rsa, id_rsa.pub 与 authorized_keys 假设 A （10.235.##.A）为客户机器，B（10.235.##.B）为目标机； 要达到的目的： A机器ssh登录B机器无需输入密码（加密方式选 rsa|dsa均可以我这里选rsa） 步骤 1、登录A机器，尝试ssh登陆B机器，需要输入密码 [root@AP ~]# ssh root@10.235.##.B CGS Linux Authorized uses only. All activity may be monito.
ssh传密钥报ERROR，too many arguments。
qq_39939537的博客
07-24 2187
直接看问题 这里只需要加上参数“-i”就可以了 下面是参数“-i”的意思： -i identity_file Selects a file from which the identity (private key) for public key authentication is read. The default is ~/.ssh/identity for protocol version 1, and ~/.ssh/id_dsa, ~/.ssh/id_ecdsa and ~/.ssh/id_r
2019.09.21 hadoop单机版安装 关于免密设置中问题的总结整理
Urlli的博客
09-21 644
许久未写blog了。研究生了已经，不能马马虎虎的学习了，做记录的去学更有帮助吧。 本次遇到的问题困扰我一宿，作为hadoop初学者配置环境这块，真的没有一个好的指导很让人头痛。 先说明我的版本信息： centos6.5 64 hadoop-2.6.4-bin_x64.tar.gz vmware15.5 pro jdk-8u161-linux-x64.tar.gz(同win10的java) 遇到的问题：当到了给Hadoop配置免密登录设置时，意识到在.ssh/下的文件中没有knows_hosts文
Hadoop环境搭建（7） -- ssh免密和群起
m0_64776466的博客
12-11 1755
ssh免密登录，集群群起
Ubuntu10.04下Hadoop-0.20.2集群配置手册.doc
09-18
这篇文档主要介绍了如何在Ubuntu 10.04操作系统环境下配置Hadoop-0.20.2集群，包括集群的硬件环境准备、软件环境的搭建、SSH无密码验证以及Hadoop的配置步骤。 首先，硬件环境是一个典型的分布式计算集群配置，由两...
解决SSH免密登录配置成功后不生效问题
热门推荐
图特摩斯科技-博客
02-25 3万+
配置免密登录 很简单，重点就两步，分布式scp~/.ssh/authorized_keys 中内容到所有你想相互免密的机器即可。 1. 执行命令$ ssh-keygen-trsa-P"" 回车后会在 ~/.ssh/ 下生成两个文件：id_rsa 和 id_rsa.pub，这两个文件是成对出现的 2. cat~/.ssh/id_rsa.pub>>~/.ssh/aut...
ssh 免密登录
fengtaosky的博客
08-20 307
1.生成秘钥 ssh-keygen 2.在~/.ssh目录下生成authorized_keys touch authorized_keys cat id_rsa.pub >> authorized_keys 3.将A服务器id_rsa.pub公钥拷贝到B的home/目录下 A服务器执行 scp id_rsa.pub root@slave01_ip:/home B服务器...
Jenkins配置远程服务器之Publish over SSH、SSH Servers、以及Linux系统生成RSA公私密钥
hkl_Forever的博客
10-19 1万+
(1)：可能是你配置到jenkins里的私钥没有携带起止标志-----BEGIN RSA PRIVATE KEY-----或-----END RSA PRIVATE KEY-----，这两个是要带着的。(2)：如果你是最新版本的docker镜像安装的jenkins容器，那么原因可能是容器内ssh版本太高，生成的私钥格式不被新版本ssh认可。(1)：.ssh文件夹、id_rsa、id_rsa.pub 权限为700。1、进入到远程目录，在目录节点下执行如下命令，生成rsa密钥。3、构建测试，查看控制台输出。
ssh使用密钥登录
故事讲予风听
06-22 1万+
使用密钥登录可以提高ssh的安全性，因为它能防止恶意用户尝试使用暴力破解技术尝试猜测密码。在ssh中，使用密钥登录分为两个步骤：生成或获取一对公钥和私钥。将公钥添加到服务器上管理的用户的文件中。
Centos7 ssh 免密登入
zhouzhiwengang的专栏
06-25 1513
centos7 服务器IP地址 192.168.60.199(主机名称:master) 192.168.60.200(主机名称:node1) 在192.168.60.199(master)服务器上，执行如下指令： 1、生成密钥对：公私钥（id_rsa 是私钥，id_rsa.pub是公钥） ssh-keygen -t rsa # 一直回车即可 2、查看 /root...
linux远程连接桌面设置秘钥登录
析木的博客
11-03 1385
linux远程连接桌面设置为秘钥连接虚拟机
hadoop配置免密码ssh登录
wxq的博客
05-10 730
在master上更改权限在搭建hadoop集群时，需要机器相互可以免密码ssh，操作如下（四台机器都要操作）：ssh-keygen -t rsa 讲产生的公钥复制到master机器上并重命名，以hadoop1为例子：scp ~/.ssh/id_rsa.pub root@host:~/id_rsa.pub.1 讲所有的迷药追加到authorized_keys中：cat ~/.ssh/id_rsa.
配置Hadoop之SSH免密登录
lzjs6的博客
04-20 4069
第一步： SSH配置RSA公钥 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa或者ssh-keygen -t rsa 查看~/.ssh文件夹生成 第二步： 将产生的公钥文件放置到authorized_keys文件中： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys 重要！重要！重要！三台主机都这样设置
centos ssh 无密码访问(一台访问另一台,cat id_rsa.pub server authorized_keys)
04-03 1034
时间:2011-11-30 13:18来源:未知 作者:admin 点击: 次 在 linux 系统中 ,ssh 是远程登录的默认工具 , 因为该工具的协议使用了 RSA/DSA 的加密算法 . 该工具做 linux 系统的远程管理是非常安全的。 操作系统： centos 5.5 ssh-keygen 可以用来生成 private 和 public 密钥。将生成的 public 密钥拷贝到远程
[hadoop@nn1 op]$ ./scp_all.sh ~/up/exe.sh /home/hadoop/ scp /home/hadoop/up/exe.sh hadoop@"nn1.hadoop":/home/hadoop/ /home/hadoop/up/exe.sh: No such file or directory FAIL scp /home/hadoop/up/exe.sh hadoop@"nn2.hadoop":/home/hadoop/ /home/hadoop/up/exe.sh: No such file or directory FAIL
03-27
### 解决 Hadoop 环境中 `scp` 命令复制文件时出现 “No such file or directory” 错误 在 Hadoop 环境下，当执行 `scp` 命令时如果遇到“No such file or directory”的错误提示，通常是因为以下几个原因之一： #### 1. 文件路径问题 确认源文件和目标路径是否存在以及是否正确指定。Linux 的相对路径和绝对路径可能引起混淆。建议始终使用完整的绝对路径来避免潜在的路径解析问题[^3]。 #### 2. 权限不足 检查当前用户是否有权限访问要传输的文件或目录。可以通过以下命令验证： ```bash ls -l /path/to/source/file ``` 如果没有足够的权限，则需要通过修改文件权限或者切换至具有适当权限的用户账户来进行操作。可以尝试如下方法调整权限： ```bash chmod u+rwx /path/to/source/file chown your_user:your_group /path/to/source/file ``` #### 3. SSH 密钥配置不当 Hadoop 节点之间的无密码通信依赖于 SSH 公私钥认证机制。如果密钥未正确定义或节点间无法正常建立连接，也可能引发此错误。确保每台机器上都已设置好免密登录功能，并测试从任意节点到其他所有节点能否成功完成 SCP 操作。 ```bash ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ``` 随后，在集群中的每一台服务器之间互相测试SSH连通性： ```bash ssh user@target_host "echo Success" ``` #### 4. ZooKeeper 或 Ambari 配置异常影响网络状态 虽然上述引用并未提及具体细节，但在某些情况下，ZooKeeper 组件安装失败可能导致整个分布式系统的不稳定运行环境，间接干扰正常的SCP行为。因此按照之前提到的方法先妥善处理ZooKeeper组件的相关问题是非常必要的。 综上所述，针对该类问题可以从以上几个方面逐一排查并修复。 ```bash # 示例代码用于检测远程主机间的无密码SSH连接状况 for host in $(cat hosts_list); do ssh $host uptime; done ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值