Spark 异常汇总（持续更新）

最新推荐文章于 2024-06-18 19:33:35 发布

weixin_30905133

最新推荐文章于 2024-06-18 19:33:35 发布

阅读量355

点赞数

CC 4.0 BY-SA版权

文章标签：大数据运维 scala

原文链接：http://www.cnblogs.com/kxgdby/p/8986628.html

本文介绍了在同一个JVM中尝试创建多个SparkContext时遇到的异常，并提供了如何配置Spark以允许这种行为的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at: org.apache.spark.SparkContext.<init>(SparkContext.scala:82) com.demo.sadsa.SparkDemo(sadsa.scala:26) sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

原因：

尝试在已启动SparkContext的相同JVM中实例化另一个SparkContext时，SparkContext构造函数将引发异常。

解决方法：spark.driver.allowMultipleContexts = true关闭异常。

转载于:https://www.cnblogs.com/kxgdby/p/8986628.html