Spark：通过start-slaves.sh脚本启动worker报错：Permission denied

最新推荐文章于 2021-08-15 22:39:28 发布

汀桦坞

最新推荐文章于 2021-08-15 22:39:28 发布

阅读量5.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/wiborgite/article/details/75309017

大数据专栏收录该内容

76 篇文章

订阅专栏

本文介绍了在Spark集群中实现master节点与slave节点间免密登录的重要性，并详细解释了一个常见问题的解决方案：即如何通过正确配置SSH信任关系来避免启动时出现权限拒绝的错误。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景信息：

Spark两个节点，主机名分别为master和slave，$SPARK_HOMR/conf/slaves配置了两条记录：两行分别为master和slave。

错误描述：

但是启动的时候报错如下：

[root@master sbin]# ./start-slaves.sh 
root@master's password: 192.168.209.140: starting org.apache.spark.deploy.worker.Worker, logging to /home/spark/spark-2.2.0-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-slave.zetyun.com.out

root@master's password: master: Permission denied, please try again.

root@master's password: master: Permission denied, please try again.

master: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

从报错信息可以看出，是从master访问master失败了。

解决步骤：

该脚本中，要用ssh免密登录到slaves文件中的每个主机上，由于只配置了master与slave的信任关系，但没有配置master与master的信任关系，因此，造成如上失败。

因此只要将master节点的id_rsa.pub 文件内容追加到authorized_keys文件中即可。