spark-standalone搭建节点间无法建立链接-node: Permission denied, please try again.

最新推荐文章于 2024-04-04 17:19:18 发布
原创 最新推荐文章于 2024-04-04 17:19:18 发布 · 866 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ssh #linux

本文介绍如何在Spark集群中配置worker节点并实现节点间的免密登录。通过使用ssh-keygen生成公钥并将其添加到authorized_keys文件中，可以避免在启动Spark集群时输入密码，从而提高部署效率。 
root@node01:/usr/lib/spark/spark-3.1.2-bin-hadoop3.2# sbin/start-workers.sh 
root@node02's password: 
root@node01's password: node01: Permission denied, please try again.

解决
使用公钥链接，在每个节点执行一下命令

ssh-keygen #在节点中生成公钥，一直按enter即可
cat  /.ssh/id_rsa.pub >> ~/.ssh/authorized_keys# 将公钥存到同一个公钥包中

注意将所有节点的公钥都放在同一个/.ssh/authorized_keys中，并复制保存在每个节点的/.ssh/authorized_keys
使用命令验证

ssh node01

图片

Spark权限问题：Spark-submit运行报错 Permission denied user=deploy
九师兄
10-09 4456
1.视界 2.背景 Spark权限问题：Spark-submit运行报错 Permission denied user=deploy 这个问题是权限问题，只需要修改一下hdfs路径的权限就好了 原本的权限 # hdfs dfs -ls /user/spark/ drwxr-xr-x - spark spark /user/spark/applicationHistory drwxr-xr...
Mac 安装 hadoop+hive+hbase+spark
GZGlenn的博客
08-06 4822
mac下安装配置hadoop伪分布式，hive，hbase和spark
Spark：通过start-slaves.sh脚本启动worker报错：Permission denied
日进一步
07-18 5327
背景信息： Spark两个节点，主机名分别为master和slave，$SPARK_HOMR/conf/slaves配置了两条记录：两行分别为master和slave。 错误描述： 但是启动的时候报错如下： [root@master sbin]# ./start-slaves.sh root@master's password: 192.168.209.140: starting org
ssh root 用户远程登录出现 Permission denied，please try again. 报错
weixin_46474408的博客
08-28 1056
vscode Remote 连接服务器无法使用 root 登录
windows运行spark程序提示Permission denied:
枪枪枪的博客
08-15 992
Exception in thread “main” org.apache.spark.sql.AnalysisException: java.lang.RuntimeException: org.apache.hadoop.security.AccessControlException: Permission denied: user=pc, access=EXECUTE, inode="/tmp":hadoop:supergroup:drwx------ 解决方法： 在代码开头添加 System.se
CDH spark启动spark-shell报错：Permission denied: user=root, access=WRITE, inode="/user"
nieji3057的博客
03-01 3783
1、对非CDH用户，到Namenode上修改hadoop的配置文件：conf/hdfs-core.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false<property> <name>dfs.permissions</name> <value>false</value> <descriptio...
Permission denied, please try again.
娜然的专栏
08-19 7236
linux centos6.5 当从一台机器执行scp的时候，报错： Permission denied, please try again. 报错的消息是没有权限，密码应该是正确的，也可以得到验证。 那么怎么会没有权限呢？我用的不是root用户，并且root用户也应该是有权限的。 查看服务器端的日志文件/var/log/secure，当输入密码后，报错信息如下： sshd[279
解决Permission denied, please try again问题
weixinhmz的博客
04-21 2704
解决Permission denied, please try again问题
Spark on yarn 报错： Permission denied
dai451954706的专栏
11-04 6268
Spark on yarn 报错： Permission denied
关于启动spark时遇到权限不足问题
weixin_44988131的博客
11-14 5883
今天我在做spark的集群部署安装遇到了一些问题，在最后启动spark的时候出现了权限不够的警告，针对这个问题我找到了两种解决方法。 解决方法一 1.在黑框框里输入命令chmod 777 spark-daemon.sh(此处的spark文件可以换成任意的你需要更改权限的文件) 2.更改过权限以后输入ll（注意必须是在你需要更改权限文件的目录下输入ll）然后你会看到’rwx’即使可读可写可执行的权...
韦玮：解决Ubuntu的root账号无法登录SSH问题-Permission denied, please try again.
热门推荐
weiwei_pig的专栏
03-22 9万+
韦玮：解决Ubuntu的root账号无法登录SSH问题-Permission denied, please try again.
以root用户远程登录Linux报错：Permission denied, please try again.
惜暮
02-01 4万+
我在Mac远程登录我的Linux服务器系统时，我是直接用root用户登录的，操作如下图： 一直提示我： Permission denied, please try again. 说我没有权限，经过一阵百度，发现是安全期间ssh服务默认没有开root用户的ssh权限。所以远程登录时默认下root用户是没有权限的。解决办法： 要修改root的ssh权限，即修改 /etc/ssh/sshd_con
解决root@localhost's password:localhost:permission denied,please try again
京东放养的爬虫
03-20 1万+
背景：在装完hadoop及jdk之后，在执行start-all.sh的时候出现           root@localhost's password:localhost:permission denied,please try again         可是，我记得当时设置的密码是对的，无论怎么输都不对，并且url中localhost:50030和localhost:50090是可以打开的
ssh登录时提示「permission denied please try again」
Donald Su
10-24 1万+
密码被改了 使用root还没打开 PermitRootLogin yes #PermitRootLogin yes 要把前面的#号去掉。 PermitRootLogin yes 重启sshd服务器 [root@jdfjak4dfa]# service sshd restart
root@localhost‘s password: Permission denied, please try again.
2303_77224751的博客
04-04 647
编辑、etc/ssh/sshd_config文件 ,将PermitRootLogin这行改为yesroot@ubuntu:/home/ubuntu# vim /etc/ssh/sshd_config重新加载改文件 /etc/init.d/ssh restart
无法通过ssh连接到主机：root@node1：权限被拒绝
m0_56681539的博客
11-07 1707
fatal: [node1]: UNREACHABLE! => {"changed": false, "msg": "Failed to connect to the host via ssh: root@node1: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).", "unreachable": true}
【Centos7远程连接问题】Permission denied, please try again的一系列问题
小慌慌的博客
03-09 9208
前言 虚拟机root突然连接不上，由于是公用的，也不知道是是不是有人误改了usr权限还是其他原因，仍然处于未知。。 但是，重点是自己在各种百度的情况的，差点就打算重装系统了，然后没有重装就搞定了。 于是想着这个必须分享给有需要的博友们～ 一系列报错 1、连接root，报Permission denied, please try again.（我输入密码是对的，我确定） 2、切换普通用户，可以登录 3、再重普通用户su - ，输入密码（我输入密码是对的，我确定），报以下错 [admin.
启动hadoop进程提示Permission denied的一种解决方法
学如不及,犹恐失之
08-21 1万+
启动hadoop时会发生如下错误 首先运行 ssh localhost 正常情况下是免密登录的，如果你还要输入密码的话，那就是你ssh没有配置好。这里要说一下的是ssh7.0之后就关闭了dsa的密码验证方式，如果你的秘钥是通过dsa生成的话，需要改用rsa来生成秘钥 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa...
Spark Standalone 全分布模式安装及问题配置过程中常见问题
m0_61232019的博客
10-11 1640
Spark Standalone 劝分不模式：既真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（一个master和两个worker），需要三台主机，slave，slave1，slave2（slave是master节点，slave1，slave2是worker节点）。 一、前期准备 二、安装scala 三、安装spark 四、问题总结
[root@sias04 sbin]# ./start-all.sh org.apache.spark.deploy.master.Master running as process 43355. Stop it first. root@sias04's password: sias03: ssh: connect to host sias03 port 22: No route to host root@sias04's password: sias04: Permission denied, please try again. root@sias04's password: sias04: Permission denied, please try again.
最新发布
07-09
<think>我们正在解决Spark启动失败的问题，具体错误是：在启动Spark集群时，Master进程已经在运行，并且尝试SSH连接到sias03节点时出现“No route to host”错误。根据用户提供的日志，我们注意到以下关键点： 1. 启动Master时，日志显示已经有一个Master进程在运行（logging to .../spark-root-org.apache.spark.deploy.master.Master-1-sias04.out），这可能是之前启动未成功退出的残留进程。 2. 在尝试连接到sias03节点时，出现“No route to host”错误，这通常表示网络不通或目标主机不可达。 因此，我们需要解决两个主要问题： 1. 清理已有的Master进程，避免端口冲突。 2. 解决与sias03节点的网络连接问题（SSH连接失败）。 ### 解决方案步骤 #### 步骤1: 停止所有Spark进程 首先，我们需要停止所有正在运行的Spark进程，包括可能残留的Master和Worker进程。 ```bash # 在Master节点（sias04）上执行 $SPARK_HOME/sbin/stop-all.sh ``` 如果上述命令无法停止（因为集群状态异常），可以手动停止： ```bash # 查找并杀死Java进程（包含Master和Worker） jps | grep -E 'Master|Worker' | awk '{print $1}' | xargs kill -9 ``` > **注意**：同样需要在所有Worker节点上执行上述手动停止命令（如果存在Worker进程）。 #### 步骤2: 检查并修复网络连接问题 错误信息显示连接sias03节点的22端口失败（No route to host），我们需要检查网络连通性。 **2.1 检查sias03节点状态** - 确认sias03节点是否开机并运行正常。 - 检查sias03节点的IP地址配置是否正确（使用`ip addr`或`ifconfig`）。 **2.2 测试网络连通性** 在sias04节点上执行： ```bash ping sias03 # 如果配置了主机名解析 # 或者直接ping sias03的IP地址 ping <sias03_IP> ``` 如果ping不通，说明网络层有问题，需要检查： - 网络硬件（网线、交换机） - 节点防火墙设置（是否屏蔽了ICMP或SSH端口） - 路由表（使用`route -n`查看） **2.3 检查SSH服务** 在sias03节点上确认SSH服务运行： ```bash systemctl status sshd ``` 如果未运行，启动服务： ```bash systemctl start sshd ``` **2.4 配置SSH免密登录** Spark要求主节点（sias04）能够无密码SSH登录到所有工作节点（包括sias03）。确保已经设置好免密登录： 1. 在sias04上生成SSH密钥（如果不存在）： ```bash ssh-keygen -t rsa ``` 2. 将公钥复制到sias03： ```bash ssh-copy-id root@sias03 ``` 3. 测试免密登录： ```bash ssh sias03 ``` #### 步骤3: 检查Spark配置 确保Spark的配置文件正确设置。 **3.1 检查`slaves`文件** 在`$SPARK_HOME/conf/slaves`文件中，应该包含所有Worker节点的主机名（或IP），例如： ``` sias02 sias03 sias04 ``` **3.2 检查`spark-env.sh`** 在`$SPARK_HOME/conf/spark-env.sh`中设置： ```bash export SPARK_MASTER_HOST=sias04 # 设置为主节点的主机名或IP export SPARK_MASTER_PORT=7077 # 默认端口 ``` #### 步骤4: 解决“Master already running”问题 如果之前有残留的Master进程，我们已经通过步骤1停止。如果问题仍然存在，检查： - 是否有多个Spark实例在运行？确保只启动一个集群。 - 检查端口冲突：Master默认使用8080（Web UI）和7077（通信端口）。使用以下命令查看端口占用： ```bash netstat -tlnp | grep -E '8080|7077' ``` 如果被其他进程占用，可以停止该进程或修改Spark的端口配置。 #### 步骤5: 重新启动集群 完成上述步骤后，重新启动集群： ```bash $SPARK_HOME/sbin/start-all.sh ``` #### 步骤6: 验证集群状态 访问Master的Web UI：http://sias04:8080 查看所有Worker节点是否正常注册。 ### 常见问题及解决方法 | 问题现象 | 可能原因 | 解决方案 | |----------|----------|----------| | Master启动失败，端口被占用 | 已有Spark或其他进程占用端口 | 停止占用进程或修改`spark-env.sh`中的端口配置 | | Worker节点未显示在Web UI | 网络不通或SSH配置错误 | 检查网络和SSH免密登录配置 | | 启动时提示“No route to host” | 目标节点关机或网络隔离 | 检查节点状态和网络配置 | | 启动时提示“Permission denied” | SSH公钥未正确配置 | 重新配置免密登录 | > **重要提示**：如果使用云环境，请检查安全组规则是否允许节点间的通信（特别是22, 7077, 8080端口）[^1]。 ### 相关问题 §§相关问题§§ 1. 如何配置 Spark on YARN 模式？ 2. Spark 集群资源管理器有哪些区别（Standalone vs YARN vs Mesos）？ 3. 如何监控 Spark 集群的运行状态？ 4. Spark 任务提交失败常见原因及解决方法？</think>### 解决 Spark `start-all.sh` 失败："Master already running" 和 SSH 连接问题 #### 问题分析 日志显示两个关键错误： 1. **Master 进程已存在**：启动时检测到已有 Master 进程 2. **SSH 连接失败**：`sias03: ssh: connect to host sias03 port 22: No route to host` --- ### 解决方案步骤 #### 1. 清理残留 Master 进程 ```bash # 在 Master 节点 (sias04) 执行 $SPARK_HOME/sbin/stop-all.sh # 尝试正常停止 # 强制终止残留进程 jps | grep "Master" | awk '{print $1}' | xargs kill -9 ``` #### 2. 修复 SSH 连接问题（关键） **2.1 检查 sias03 节点状态** ```bash ping sias03 # 测试网络连通性 nc -zv sias03 22 # 检查 SSH 端口 ``` - 🔴 若不通：检查网络配置（IP/路由）[^2] - 🟢 若通：检查 SSH 服务状态 **2.2 修复 SSH 服务** ```bash # 在 sias03 节点执行 systemctl status sshd # 检查服务状态 systemctl start sshd # 启动服务 systemctl enable sshd # 设置开机自启 ``` **2.3 配置 SSH 免密登录** ```bash # 在 Master 节点 (sias04) 执行 ssh-keygen -t rsa # 生成密钥（回车确认所有选项） ssh-copy-id root@sias03 # 复制公钥到 sias03 # 测试免密登录 ssh sias03 "hostname" # 应返回 sias03 ``` #### 3. 检查 Spark 配置 **3.1 验证 `slaves` 文件** ```bash # $SPARK_HOME/conf/slaves 应包含所有 Worker 节点 cat $SPARK_HOME/conf/slaves ``` 示例： ``` sias02 sias03 sias04 ``` **3.2 检查 `spark-env.sh`** ```bash # 确保配置正确 echo $SPARK_MASTER_HOST # 应返回 sias04 的 IP grep SPARK_MASTER_HOST $SPARK_HOME/conf/spark-env.sh ``` #### 4. 解决端口冲突 ```bash # 检查端口占用（Master 默认 7077/8080） netstat -tlnp | grep -E '7077|8080' # 若被占用： # 选项1：终止占用进程 # 选项2：修改 Spark 端口 echo "export SPARK_MASTER_WEBUI_PORT=9080" >> $SPARK_HOME/conf/spark-env.sh ``` #### 5. 重启集群 ```bash $SPARK_HOME/sbin/start-all.sh # 验证状态 jps | grep -E 'Master|Worker' # 应有 Master + 多个 Worker ``` #### 6. 防火墙配置 ```bash # 所有节点开放端口 sudo firewall-cmd --permanent --add-port={7077,8080,22}/tcp sudo firewall-cmd --reload ``` --- ### 故障排查表 | 现象 | 可能原因 | 解决方案 | |------|----------|----------| | Master 启动失败 | 端口冲突 | 修改 `spark-env.sh` 端口或终止占用进程 | | Worker 未注册 | SSH 免密失败 | 重新配置 `ssh-copy-id` | | "No route to host" | 网络不通/SSH 未启动 | 检查网络配置和 `systemctl status sshd` | | 部分节点连接超时 | 防火墙阻止 | 开放端口或临时关闭防火墙测试 | > **重要提示**：修改配置后需**重启相关服务**。若使用云环境，检查安全组规则是否开放 22/7077/8080 端口[^1]。 --- ### 相关问题
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值