spark windows 下在idea中 作driver 调试 spark问题(spark本地代码集群运行问题)

本文介绍了在Windows环境下使用IDEA进行Spark应用调试的方法,并详细分析了由于SCALA版本不一致导致的问题及其解决方案。通过文章,读者可以了解如何配置正确的SCALA版本以及如何设置SparkConf以启动Spark应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spark windows 下在idea中 作driver 调试 spark(spark本地代码集群运行问题)

18/03/15 19:35:48 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkExecutor@node1:38126] has failed, address is now gated for [5000] ms. Reason is: [org.apache.spark.TaskState$; local class incompatible: stream classdesc serialVersionUID = 746799155515967470, local class serialVersionUID = -2913614267616900700].

18/03/15 19:34:54 WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://sparkDriver@chen:2589] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].

local class incompatible

Reason is: [Disassociated]

如果报错,应该仔细检查Worker Executor Driver Master的日志,看看是否有上面这样的内容,上面问题的原因是SCALA版本不一致造成的.

如何查看集群的SCALA版本

我是利用 spark-shell来查看的
Welcome to
__
/ / _ _/ /__
\ \/ \/ _ `/ _/ ‘/
// ./_,// //_\ version 1.3.1
/_/

Using.Scala version 2.10.4 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_91)
Type in expressions to have them evaluated.

idea中的版本(我是maven导入的)

       <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_**2.10**</artifactId>
            <version>**1.3.1**</version>
        </dependency>

两个数字(2.10,1.3.0)都要注意
之后就可以在idea中,启动main函数充当driver来调度了

main中的要点

    val sparkConf = new SparkConf().setAppName("Broadcast Test").
      //集群的地址
      setMaster("spark://node1:7077").
      //先用Maven把IDEA中的项目打成jar包,然后填写这个Jar包的绝对路径,最后在idea中
      //运行就好了
      setJars(Seq("Z:\\sparkwokespace\\spark13\\target\\spark-1.0-SNAPSHOT.jar"))
      val context: SparkContext = new SparkContext(sparkConf)

参考内容
1 解决在编程方式下无法访问Spark Master问题
2 spark 笔记1 – spark程序连接

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值