INFO AppClient$ClientActor: Connecting to master akka.tcp://sparkMaster@ubuntu:7077/user/Master...

最新推荐文章于 2023-05-16 14:01:11 发布

原创最新推荐文章于 2023-05-16 14:01:11 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark #大数据 #hadoop #scala #spark-shell

spark 专栏收录该内容

1 篇文章

订阅专栏

在搭建Spark Standalone模式过程中，遇到在spark-shell命令执行时无法连接主机的问题，通过将配置文件spark-env.sh中IP地址替换为hostname，成功解决了连接问题。

这几天在搭建spark的standalone模式，在该做的工作的准备工作都坐好后，在spark的bin目录下运行spark-shell命令时，到连接主机这一步时，就走不动了，抛出的错误是：

INFO AppClient$ClientActor: Connecting to master akka.tcp://sparkMaster@ubuntu:7077/user/Master...

网上查了好多，有人说IP地址不对，有人说是IP地址和hostname不配对，检查了好久，感觉都是对的，可就是不行，无奈翻墙google下，国外有个大神说的对，spark对IP和hostname不是对等看待的，建议在配置目录里的spark-env.sh的把IP全换成hostname，即：

export MASTER=spark://ubuntu:7070
export SPARk_MASTER_IP=ubuntu（这是我的主机名，你的可能不一样）

然后再把master和worker重启，然后就可以OK啦！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yanghao10200

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

client.StandaloneAppClient$ClientEndpoint: Failed to connect to master bigdata3:7077

zhengzaifeidelushang的博客

11-11

1546

Spark-submit提交应用程序命令 [root@bigdata1 conf]# spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://bigdata1:7077,bigdata2:7077,bigdata3:7077 \ --executor-memory 1G \ --total-executor-cores 1 \ /moudle/spark-3.0.1/examples/jars/spark-exa

解决通过spark-shell 连接集群产生的不能连接master问题

lwnowhy的专栏

05-07

7828

spark集群启动后通过MASTER=spark://spark01:7077 ./spark-shell 连接报以下错误

参与评论您还未登录，请先登录后发表或查看评论

unreachable remote address [akka.tcp://sparkMaster@localhost:7077]解决方法

曾经当程序员的日子

03-03

4363

在linux部署spark集群环境后，在单机模式下启动spark-shell时遇到Tried to associate with unreachable remote address [akka.tcp://sparkMaster@localhost:7077].问题，导致无法启动。解决方法在配置conf/spark-env.sh文件时，将export MASTER=spark：//127.

StandaloneAppClient$ClientEndpoint: Failed to connect to master master:7077

qq_33465047的博客

09-24

5674

出现这种问题时， 21/09/09 09:38:31 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master master:7077 org.apache.spark.SparkException: Exception thrown in awaitResult: at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:301)

CDH5.13启用Kerberos后spark代码提交常见错误

weixin_42240930的博客

09-14

1480

错误一：Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=admin, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 解决方法：需要登录kinit spark 错误二：WARN ...

精选资源

springboot整合spark连接远程服务计算框架使用standAlone模式

08-15

在现代大数据处理领域，Spark作为一个高性能的分布式计算框架，被广泛应用。Spring Boot作为Java开发的轻量级框架，简化了微服务的构建。当需要在Spring Boot应用中整合Spark进行远程服务计算时，通常会采用Spark的...

精选资源

即时通信软件+Windows tcp/ip+源码

最新发布

07-24

在windows 平台下用 C++ 代码实现即时通信软件功能，通过使用TCP/IP进行客户端与服务器，客户端与客户端的通信。 ## 目录结构 - IMSProject - build 工程文件 - data 数据资源文件 - doc：文档 - src：源代码 ...

Spark修炼之道（高级篇）——Spark源码阅读：第十节 Standalone运行模式解析

摇摆少年梦的技术博客

11-09

9605

Spark Standalone采用的是Master/Slave架构，主要涉及到的类包括：类：org.apache.spark.deploy.master.Master 说明：负责整个集群的资源调度及Application的管理。消息类型：接收Worker发送的消息 1. RegisterWorker 2. ExecutorStateChanged 3. WorkerSchedulerState

Python库 | sumologic-appclient-sdk-2.0.0.tar.gz

04-15

资源分类：Python库所属语言：Python 资源全名：sumologic-appclient-sdk-2.0.0.tar.gz 资源来源：官方安装方法：https://lanzao.blog.csdn.net/article/details/101784059

Flink-1.17.0(Standalone)集群安装-大数据学习系列（四）

zhenwudi的专栏

05-16

2777

链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器上操作(分发环境)2.1 在集群（各机器上都执行！2.1 切换到k8s-master执行。2.2 切换到k8s-node1执行。切换到k8s-master执行。切换到k8s-master执行。

java调用shell脚本执行spark任务错误

哎幽的成长

05-16

1581

java调用shell脚本执行spark任务使用java通过 Runtime.getRuntime().exec(); 调用shell 脚本，在脚本中执行 spark 任务会报错，如下： 19/05/15 15:46:47 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master 192.168.9.2:7077 ...

关于Spark报错不能连接到Server的解决办法（Failed to connect to master master_hostname:7077）

热门推荐

ybdesire的专栏

04-24

8万+

如何彻底解决 Failed to connect to master master_hostname:7077

Spark Worker: Failed to connect to master master:7077

图特摩斯科技-博客

08-27

1万+

slave 不能工作，失去联系。 WARN Worker: Failed to connect to master master:7077 java.io.IOException: Failed to connect to master:7077 ... ERROR Worker: All masters are unresponsive! Giving up.

WARN Worker: Failed to connect to master

漫游学海之旅

10-23

8512

问题对Spark进行Standalone模式布局，在节点机器上启动 > ./sbin/start-slave.sh spark://MasterURL:7077 新增 Worker > ./bin/spark-class org.apache.spark.deploy.worker.Wo

深入理解Spark 2.1 Core （六）：资源调度的原理与源码分析

01-05

5789

在上篇博文中，我们讲到了如何启动Master和Worker，还讲到了如何回收资源。但是，我们没有将AppClient是如何启动的，其实它们的启动也涉及到了资源是如何调度的。这篇博文，我们就来讲一下AppClient的启动和逻辑与物理上的资源调度。

spark 集群模式执行命令出错Connection refused的解决办法

黄道婆的专栏

12-04

2614

用spark HA集群的模式来执行命令，出错如下（此处隐去真实的ip地址，以x.x.x.x替换）： 20/12/04 20:01:38 WARN StandaloneAppClient$ClientEndpoint: Failed to connect to master node02:7077 org.apache.spark.SparkException: Exception thrown in awaitResult at org.apache.spark.rpc.RpcTimeout$$a...

揭秘Spark作业全生命周期：Driver与DAG/TaskScheduler交互图解

在Spark源码系列的第四章中，我们深入探讨了Spark作业的完整生命周期，特别是关注于DriverProgram和SparkContext的核心作用。SparkContext是应用程序的主要接口，所有的RDD操作都需要通过它来创建和管理。然而，其...