spark 报：Warning: Master endpoint spark://ip:7077 was not a REST server. Falling back t

最新推荐文章于 2023-04-01 13:00:44 发布
原创 最新推荐文章于 2023-04-01 13:00:44 发布 · 1.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

当使用 `spark-submit` 以 cluster 模式提交 application 到 Spark 集群时，可能会遇到警告：`Master endpoint spark://ip:7077 was not a REST server. Falling back to legacy submission gateway instead.` 这是因为端口配置不正确。解决这个问题的关键在于理解不同提交模式下应该使用的端口：client 模式使用 7077，而 cluster 模式则需要设置为 6066，因为 cluster 模式下是通过 REST API 进行提交。调整端口设置即可消除警告。

在利用spark以cluster方式提交application时会发现这个警告：Warning: Master endpoint spark://ip:7077 was not a REST server. Falling back to legacy submission gateway instead.

提交方式：spark-submit --master spark://ip:port --deploy-mode client(cluster)

原因：端口问题，

解决方式：spark以client方式提交时，port应该设置为7077；以cluster方式提交时，port设置为6066，因为这种方式提交时，是以rest api方式提交application。

 

参考：

https://mail-archives.apache.org/mod_mbox/spark-user/201512.mbox/%3CD2905870.2629A%25Andy@SantaCruzIntegration.com%3E

 

 

 

 

Spark.2.2源码阅读: SPARK SUBMIT任务提交
九师兄
07-04 3092
1.编写程序 当我们编写了一个程序后。 package com.llcc.sparkSql.text import org.apache.spark.sql.{Row, SQLContext, SparkSession} import org.apache.spark.sql.types.{StringType, StructField, StructType} object Spa...
spark-submit命令行提交Spark任务流程解读
Dreamming Time的博客
06-01 2689
spark-submit方式提交应用 启动脚本文件 # 命令行提交Spark应用样例： #./bin/spark-submit \ # --class com.imooc.spark.Test.TestOfSparkContext2 \ # --conf spark.master spark://localhost:7077 \ # --master local[2] \ # /home/hadoop/data/test-jar/sql-1.0.jar arg1 arg2 # if [ -z "${
Master endpoint spark://192.168.0.3:7077 was not a REST server. Falling back to legacy submission ga
qq_35754332的博客
03-14 933
Master endpoint spark://192.168.0.3:7077 was not a REST server. Falling back to legacy submission gateway instead.
spark 2.1 BlockManagerMasterEndpoint
houzhizhen的专栏
05-11 1417
Member fields.class BlockManagerMasterEndpoint( override val rpcEnv: RpcEnv, val isLocal: Boolean, conf: SparkConf, listenerBus: LiveListenerBus) extends ThreadSafeRpcEndpoint with Lo
spark 集群运行standalone的cluster 方式遇到的bug，希望能被一个大神来解决
菜鸟博客
01-23 2205
这个问题是这样的，就是我这spark的集群已经搭建好了，然后使用spark的安装包里的实例进行测试时发现报了这么一个问题，不知道各位spark的探索者们是否注意过这个问题：我这将把这个问题的原景表现出来，希望大家能帮我解决一下，我这给我说一下这其中的缘由。在集群已经正常启动的情况下，我这里使用这个命令提交的：./spark-submit  --master spark://node06:7077 ...
spark on yarn的两个warning
qq_36459386的博客
01-02 323
文章目录警告1警告2 警告1 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 具体原因是从java.library.path处没有找到libhadoop.so,我们发现,libhado...
启动spark下的master异常报错， Service ‘sparkMaster‘ failed after 16 retries (starting from 7077)绑定7077端口失败问题
weixin_42098250的博客
12-09 2903
启动spark下的master异常报错， Service 'sparkMaster' failed after 16 retries (starting from 7077)!绑定7077端口失败问题
7. Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
L, there!
08-05 1802
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
大数据-计算引擎-Spark（二）：Spark安装与配置【Local模式、Standalone模式、Yarn模式】
u013250861的博客
01-30 827
大数据-计算引擎：Spark安装与配置【Local模式】
Spark源码解析之org.apache.spark.deploy.SparkSubmit源码解析
攸的博客
01-20 1213
前面解读launch.main的时候已经了解了spark-submit的提交流程，这里大概看下流程。 当打jar提交到集群运行的时候，一般会设置一些参数，例如本地提交examples的SparkPi： spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://192.168.2.1:7077 \ D...
关于Spark报错不能连接到Server的解决办法（Failed to connect to master master_hostname:7077）
热门推荐
ybdesire的专栏
04-24 8万+
如何彻底解决 Failed to connect to master master_hostname:7077
Spark StandAlone 模式下 ./pyspark 连接被拒
优快云1csdn1的博客
04-01 972
执行 ./pyspark --master spark://Master:7077 后报错如下： ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From Master/192.168.3.23 to Master:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more deta
spark启动节点时，从节点slave未启动：Worker:87 - Failed to connect to master master:7077
Please_Forgive的博客
09-20 4480
spark集群总共三个节点，一个主节点，两个从节点，在master提交了任务运行之后发现两个从节点并未work起来，然后去两个从节点slave01 slave02上查看日志文件，在spark目录下的logs查看日志文件， 发现如下错误信息： 2019-09-19 20:33:57 WARN Worker:87 - Failed to connect to master localhost:...
关于MASTER=spark://SparkMaster:7077 ./spark-shell问题
u010458114的博客
04-19 6645
原网页：http://bbs.csdn.net/topics/390941085 在运行MASTER=spark://SparkMaster:7077 ./spark-shell时候 出现scala了，但是后面紧接着出现了。 14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect t
CentOS7上安装rabbitmq
weixin_42250577的博客
09-02 369
1、安装依赖包 yum install -y gcc gcc-c++ glibc-devel make ncurses-devel openssl-devel autoconf 2、安装erlang [root@localhost ~]# mkdir /data && cd /data [root@localhost /data]# tar zxvf otp_src_23.2.tar.gz [root@localhost /data]# cd otp_src_23.2 [root@loca
体验第一个spark程序（第四弹）
m0_57781407的博客
08-07 1962
先启动spark集群或者启动hdfs集群，如果之前有开启，则需要重新关闭再开启spark集群或者启动hdfs集群。以客户端模式连接Yarn集群，集群的位置可以在HADOOP_CONF_DIR环境变量中配置。以集群模式连接Yarn集群，集群的位置可以在HADOOP_CONF_DIR环境变量中配置。在standalone模式下，连接到指定spark集群，默认端口号是7077。在spark目录下启动spark服务（未停止的，先停止在启动）启动Hadoop服务（未停止的，先停止在启动）遇到不能创建问题是因为。...
Spark学习记录1
weixin_45772744的博客
06-30 1449
Spark Core实现了 Spark 的基本功能，包含任务调度、内存管理、错误恢复、与存储系统 交互等模块。Spark Core 中还包含了对弹性分布式数据集(resilient distributed dataset，简称RDD)的 API 定义。Spark SQL是 Spark 用来操作结构化数据的程序包。通过 Spark SQL，我们可以使用 SQL 或者 Apache Hive 版本的 SQL 方言(HQL)来查询数据。Spark SQL 支持多种数据源，比 如 Hive 表、Parquet 以及
Spark部署模式对比
zhongmingyu
03-27 284
端口号。
解决spark无法查看web页面状态
knightjsh的博客
08-27 6597
解决spark无法查看web页面状态 spark-env.sh配置，端口设置为 SPARK_MASTER_PORT=7077 尝试用 http://IP地址:7077打开网址查看状态，发现并不可以打开。 之后查看主机master的日志文件（/root/spark/logs/spark-root-org.apache.spark.deploy.master.Master-1-master.out） 仔细查看日志发现，端口似乎发生了变动（在WARN中），具体为什么会这样，希望有大神指点【博主还是小白】。看
./spark-submt--master spark://node2:707.-ass com.datapusher.datapusherpp-depoy mde cluste r--executor-memory 4g-tot-executr-cores 6xecto- -ve-r-vr-mmre:/mms ter/dz/trafficsys-datapusher-1.0-SNAPSHOT.jar --server.port=10060 Running Spark using the REST application submission protocol. 25/12/16 11:16:28 INF0 rest.RestsubmissionCliont:Submitting a requestto launch an appcation n spark://mod2:7077.25/12/16 11:16:39 WARN rest.RestSubmissionClient:Unable to connect to server spark://node2:7077. Narning:Master endpoint spark://node2:7077 was not a REST server.Faling back to legacy submission gateway instead. 25/12/16 11:16:39 WARN util.NaveCodeLoeder:Unable to lod native-hadoop lbrary for your platform..ustmg but-yave classes where applicable 程序启动不了
最新发布
12-17
对于使用 `spark-submit` 启动程序时无法连接到服务器 `spark://node2:7077` 以及无法加载 native - hadoop 库的问题，可以从以下几个方面尝试解决： ### 无法连接到服务器 `spark://node2:7077` - **检查服务器状态**：要保证 `spark://node2:7077` 对应的服务器处于正常运行状态，Spark 主节点服务也已成功启动。可以通过登录到 `node2` 节点，查看 Spark 主节点进程是否在运行。例如，使用 `jps` 命令，如果有 `Master` 进程，则表示 Spark 主节点正在运行。 - **网络连通性**：要确保执行 `spark-submit` 命令的客户端与 `node2` 节点之间网络是连通的，可以使用 `ping` 命令测试网络连通性，使用 `telnet` 命令测试端口 `7077` 是否开放。示例如下： ```bash ping node2 telnet node2 7077 ``` - **配置检查**：要确认 `spark-submit` 命令中的 `--master` 参数配置无误，确保 `node2` 是正确的主机名或 IP 地址，端口号 `7077` 也是 Spark 主节点监听的端口。可以查看 Spark 主节点的配置文件（通常是 `spark-env.sh`）来确认端口配置。 ### 无法加载 native - hadoop 库 - **环境变量配置**：要保证 `HADOOP_HOME` 环境变量已正确配置，并且 `$HADOOP_HOME/lib/native` 目录包含了所需的 native - hadoop 库。可以在执行 `spark-submit` 命令前，设置环境变量，示例如下： ```bash export HADOOP_HOME=/path/to/hadoop export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native ``` - **库文件完整性**：要确保 `$HADOOP_HOME/lib/native` 目录下的 native - hadoop 库文件完整且版本与当前使用的 Hadoop 版本兼容。可以重新下载或从其他正常节点复制这些库文件。 - **权限问题**：要确保执行 `spark-submit` 命令的用户对 `$HADOOP_HOME/lib/native` 目录及其库文件有读取权限。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值