错误——由于ssh配置启动不了yarn

错误信息:

[root@hadoop103 hadoop-2.7.1]# sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /opt/module/hadoop-2.7.1/logs/yarn-root-resourcemanager-hadoop103.out
The authenticity of host 'hadoop102 (192.168.0.11)' can't be established.
ECDSA key fingerprint is SHA256:mtkNMx4vH+1OX7g6jChb+R5G19eo8VfJ4jXqAW9u/iM.
ECDSA key fingerprint is MD5:22:41:10:6c:75:45:16:15:30:17:b8:5a:2b:f6:83:c3.
Are you sure you want to continue connecting (yes/no)? The authenticity of host 'hadoop104 (192.168.0.13)' can't be established.
ECDSA key fingerprint is SHA256:mtkNMx4vH+1OX7g6jChb+R5G19eo8VfJ4jXqAW9u/iM.
ECDSA key fingerprint is MD5:22:41:10:6c:75:45:16:15:30:17:b8:5a:2b:f6:83:c3.
Are you sure you want to continue connecting (yes/no)? The authenticity of host 'hadoop103 (192.168.0.12)' can't be established.
ECDSA key fingerprint is SHA256:mtkNMx4vH+1OX7g6jChb+R5G19eo8VfJ4jXqAW9u/iM.
ECDSA key fingerprint is MD5:22:41:10:6c:75:45:16:15:30:17:b8:5a:2b:f6:83:c3.
Are you sure you want to continue connecting (yes/no)? yes
hadoop102: Warning: Permanently added 'hadoop102' (ECDSA) to the list of known hosts.
hadoop102: starting nodemanager, logging to /opt/module/hadoop-2.7.1/logs/yarn-root-nodemanager-hadoop102.out

hadoop104: Host key verification failed.

hadoop103: Host key verification failed.
[root@hadoop103 hadoop-2.7.1]# jps
2802 ResourceManager
2407 DataNode
3067 Jps
[root@hadoop103 hadoop-2.7.1]# sbin/stop-yarn.sh 
stopping yarn daemons
stopping resourcemanager
The authenticity of host 'hadoop104 (192.168.0.13)' can't be established.
ECDSA key fingerprint is SHA256:mtkNMx4vH+1OX7g6jChb+R5G19eo8VfJ4jXqAW9u/iM.
ECDSA key fingerprint is MD5:22:41:10:6c:75:45:16:15:30:17:b8:5a:2b:f6:83:c3.
Are you sure you want to continue connecting (yes/no)? The authenticity of host 'hadoop103 (192.168.0.12)' can't be established.
ECDSA key fingerprint is SHA256:mtkNMx4vH+1OX7g6jChb+R5G19eo8VfJ4jXqAW9u/iM.
ECDSA key fingerprint is MD5:22:41:10:6c:75:45:16:15:30:17:b8:5a:2b:f6:83:c3.
Are you sure you want to continue connecting (yes/no)? hadoop102: stopping nodemanager
The authenticity of host 'hadoop103 (192.168.0.12)' can't be established.
Please type 'yes' or 'no': yes
hadoop104: Warning: Permanently added 'hadoop104' (ECDSA) to the list of known hosts.
hadoop104: no nodemanager to stop

hadoop103: Host key verification failed.
no proxyserver to stop

截图:
在这里插入图片描述

问题:
ssh登录“The authenticity of host 192.168.0.xxx can’t be established.”的问题

解决方法:
1、
不修改/etc/ssh/ssh_config文件的配置而解决此问题

ssh  -o StrictHostKeyChecking=no  192.168.0.xxx 

输入密码

2、
ssh连接The authenticity of host can’t be established
修改/etc/ssh/ssh_config文件的配置,以后则不会再出现此问题
最后面添加:

StrictHostKeyChecking no
UserKnownHostsFile /dev/null

解决后的截图:
在这里插入图片描述

### 如何启动 Spark 集群及运行环境配置 #### 环境准备 为了成功启动 Spark 集群,需先完成一系列准备工作。这包括但不限于确认所有节点的操作系统版本一致、网络互通以及时间同步服务已开启。此外,还需确保各节点间能够通过主机名相互解析。 #### 安装 Java 和 Spark Java 是 Spark 所依赖的基础组件之一,在任何计划部署 Spark 的机器上都应预先安装好适当版本的 JDK[^1]。随后按照官方指南下载对应操作系统的 Spark 发行版并解压至指定目录下。 #### 配置环境变量 为了让操作系统识别到新安装的软件包路径,建议将 SPARK_HOME 及其 bin 子目录加入全局 PATH 中去。具体做法是在每台工作机上的 .bashrc 或者其他 shell 初始化脚本里追加如下两行设置语句: ```shell export SPARK_HOME=/path/to/spark export PATH=$PATH:$SPARK_HOME/bin ``` #### 设置 SSH 免密登录 对于多节点组成的分布式系统来说,实现无交互式的远程执行至关重要。因此需要配置免密码验证机制以便 master 能够自动向 slave 发送指令而无需人工干预输入账号密码信息。可以通过 ssh-keygen 工具生成公私钥对,并利用 ssh-copy-id 命令把本地用户的 public key 添加到目标服务器 authorized_keys 文件内来达成此目的[^2]。 #### 编辑 `spark-env.sh` 和 `slaves` 文件 在 $SPARK_HOME/conf/ 目录下面存在两个重要配置文件——`spark-env.sh.template` 与 `slaves.template` 。前者用于定义一些必要的环境参数比如 JAVA_HOME, MASTER_IP 地址等;后者则记录着 worker nodes 列表。去掉这两个模板文件后缀 `.template` 并依据实际情况修改相应字段即可满足需求。 #### 启动 Spark 集群 一切就绪之后就可以着手启动整个集群了。先进入 Spark 解压缩后的根目录,接着依次执行以下两条命令分别用来激活 Master 和 Worker 组件: ```shell sbin/start-master.sh sbin/start-slave.sh spark://<master-ip>:7077 ``` 此时应该可以在浏览器访问 http://<master-ip>:8080 来查看当前在线的工作节点列表以及其他统计信息。 #### 使用 YARN 模式提交作业 如果希望借助 Apache Hadoop 提供的强大资源调度能力,则可以考虑采用 YARN-as-a-cluster-manager 方案。这时除了上述步骤外还需要额外指明 --master 参数为 yarn ,并通过 spark-submit 接口传递更多选项给应用程序实例化上下文环境[^3]。 ```shell bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ /path/to/examples.jar \ <number-of-tasks> ``` #### 注意事项 在整个过程中需要注意保持各个阶段的日志输出情况,遇到异常状况时及时查阅错误提示以定位问题所在。另外就是务必遵循最佳实践原则合理规划磁盘空间分配策略防止因 I/O 性能瓶颈影响整体性能表现[^5]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值