SparkContext can only be used on the driver, not in code that it run on workers. see SPARK-5063

最新推荐文章于 2024-02-17 19:39:00 发布
最新推荐文章于 2024-02-17 19:39:00 发布
阅读量2.5k 收藏 5
点赞数 1
分类专栏： pyspark 文章标签： spark python 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shawn05liu/article/details/123879135
版权 
It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.

如果你的pyspark里面有两层map，且内层map使用了sc(SparkContext)，就会报这个错误，原因是说sc只能在你的main函数里面使用，不能在map并发中调用 （SparkContext can only be used on the driver, not in code that it run on workers）

所以需要将两层map改为一层map，或者不在内层使用sc，

在最外层将所有数据压扁处理flatmap  or  join

报错:It appears that you are attempting to reference SparkContext from a broadcast variable, action
qq_40285736的博客
06-24 4276
报错 _pickle.PicklingError: Could not serialize object: Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on wor
【spark-submit】【spark】
wq6qeg88的博客
02-17 1029
如果您的代码依赖于其他项目，则需要将它们与应用程序一起打包，以便将代码分发到Spark集群。一旦你有了一个组装好的jar，你就可以在传递你的jar的时候调用这里所示的。它可以通过统一的接口使用所有Spark支持的集群管理器，因此您不必为每个集群管理器配置应用程序。†一个常见的部署策略是从与工作机器物理上位于同一位置的网关机器（例如独立EC2集群中的主节点）提交应用程序。或者，如果您的应用程序是从远离工作机器的机器提交的（例如，在您的笔记本电脑上本地），通常使用。有几个选项是特定于正在使用的集群管理器的。
SparkContext can only be used on the driver, not in code that it run on workers.
weixin_46168298的博客
06-20 713
SparkContext can only be used on the driver, not in code that it run on workers. sc不能序列化
【pySpark】报错：SparkContext can only be used on the driver, not in code that it run on workers.
think_ycx的专栏
05-19 1547
在写pySpark时，driver（py运行的机器）上的py函数中，如果需要操作 SparkContext相关的对象，需要把这个函数标注为 @staticmethod。 否则会报错,log参考文章最后。 猜测原理是：需要把这个函数 通过序列化传输给spark的worker所在的机器。 参考： 1、https://stackoverflow.com/questions/44289962/errorsparkcontext-can-only-be-used-on-the-driver-not..
SPARK-5063
wguangliang的专栏
07-14 2902
org.apache.spark.SparkException: RDD transformations and actions can only be invoked by the driver, not inside of other transformations; for example, rdd1.map(x => rdd2.values.count() * x) is invalid
Spark报错It appears that you are attempting to broadcast an RDD or reference an RDD from an action
给我一点温度
09-09 3974
Spark报错： Exception: It appears that you are attempting to broadcast an RDD or reference an RDD from an action or transformation. RDD transformations and actions can only be invoked by the driver, not...
Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.
05-25
这个异常通常发生在尝试在worker节点上使用SparkContext对象时。SparkContext对象是驱动程序中的主要入口点，它负责与集群进行通信，并协调作业的执行。因此，在worker节点上使用它是不安全的。 你可以尝试将...
【Spark】【Standalone】【独立模式】
最新发布
wq6qeg88的博客
02-17 886
要使用启动脚本启动Spark独立集群，您应该在Spark目录中创建一个名为conf/workers的文件，该文件必须包含您打算启动Spark workers的所有机器的主机名，每行一个。否则，默认情况下，每个执行器获取工作器上可用的所有核心，在这种情况下，在单个调度迭代期间，每个应用程序只能在每个工作器上启动一个执行器。您可以在每个版本中获取Spark的预构建版本，也可以自己构建。模式下，驱动程序是从集群内的一个Worker进程启动的，客户端进程在完成提交应用程序的责任后立即退出，而无需等待应用程序完成。
how to deal with error SPARK-5063 in spark
网络空间发展与战略研究
10-30 3546
3down votefavorite 1 I get the error message SPARK-5063 in the line of println val d.foreach{x=> for(i<-0 until x.length) println(m.lookup(x(i)))} d is RDD[Array[String]
Spark源码阅读之SparkSession
LMR的博客
04-07 7938
spark从1.6之后一直以SparkSession作为用户编程的主要api，本文主要是记录自己SparkSession源码阅读过程，没有过多注释，方便后期查阅。 /** * The entry point to programming Spark with the Dataset and DataFrame API. * 使用Dataset和DataFrame API编程Spark的...
spark调用类内方法
ClaireQi的博客
08-16 3781
在pyspark中调用类方法，报错 Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transforamtion. SparkContext can only be used on the driver, not in co...
pyspark源码之SparkContext学习（context.py）
xiaoQL520的博客
01-03 5190
本系列文章是下载的是spark2.2.1版本的源码进行相关分析和学习。# # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additi
Spark 源代码 SparkContext
段智华的博客
02-04 4900
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copy
学习Spark——那些让你精疲力尽的坑
baixieyun4655的博客
06-04 361
这一个月我都干了些什么…… 工作上，还是一如既往的写bug并不亦乐乎的修bug。学习上，最近看了一些非专业书籍，时常在公众号（JackieZheng）上写点小感悟，我刚稍稍瞄了下，最近五篇居然都跟技术无关，看来我与本行业已经是渐行渐远了。 所以，趁着这篇博客，重拾自己，认清自己，要时刻谨记我是一名码农。不过，摸着良心说，最近的技术方面也是有所感悟和积累的，比如如何写好设计文档，如何使用延...
spark入门教程（3）--Spark 核心API开发
热门推荐
简单就好
04-13 1万+
本教程源于2016年3月出版书籍《Spark原理、机制及应用》 ，在此以知识共享为初衷公开部分内容，如有兴趣，请支持正版书籍。 Spark综合了前人分布式数据处理架构和语言的优缺点，使用简洁、一致的函数式语言Scala作为主要开发语言，同时为了方便更多语言背景的人使用，还支持Java、Python和R语言。Spark因为其弹性分布式数据集（R...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值