spark scala.util.control.BreakControl

最新推荐文章于 2024-09-14 09:43:02 发布
原创 最新推荐文章于 2024-09-14 09:43:02 发布 · 457 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

在 Spark 应用程序中遇到 org.apache.spark.SparkException，原因是 Task 在 stage 失败，与 scala.util.control.BreakControl 相关。错误追踪显示在任务中使用了 `break` 语句，这在分布式环境中可能不适用，导致无法正确控制循环的退出，从而引发此异常。经过一天的排查，问题定位为 `break` 语句在集群执行中的不兼容性。

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 12.0 failed 1 times, most recent failure: Lost task 0.0 in stage 12.0 (TID 18, localhost, executor driver): scala.util.control.BreakControl

Driver stacktrace:
    at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1703)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1691)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1690)
    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
    at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
    at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1690)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:873)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:873)
    at scala.Option.foreach(Option.scala:257)
    at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:873)
    at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:1924)
    at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1873)
    at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1862)
    at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)
    at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:682)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:2047)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:2068)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:2087)
    at org.apache.spark.rdd.RDD$$anonfun$take$1.apply(RDD.scala:1368)
    at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)
    at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)
    at org.apache.spark.rdd.RDD.withScope(RDD.scala:367)
    at org.apache.spark.rdd.RDD.take(RDD.scala:1341)
    at com.kingyea.datac.process.Explorations$$anonfun$main$2.apply(Explorations.scala:99)
    at com.kingyea.datac.process.Explorations$$anonfun$main$2.apply(Explorations.scala:83)
    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
    at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
    at com.kingyea.datac.process.Explorations$.main(Explorations.scala:83)
    at com.kingyea.datac.process.Explorations.main(Explorations.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:920)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:195)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:220)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:140)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
Caused by: scala.util.control.BreakControl

 

 

查阅了很多资料

这个错误刚开始以为触发action 把数据都写到Driver端 排查了结果不是这个报错

查阅其他资料说数据量太大，在程序中也排除了这个错误 

结果是在代码里面写了跳出循环 也就是break()

可能是在集群中都是分布式跑，break没办法控制哪个点跳出，所以就一直报这个错误，排查了一整天了！！！！！！！

wwq_vracle
关注
spark报错 java.lang.NullPointerException: Null value appeared in non-nullable field:top level Product
yy的博客
02-16 2107
报错内容 java.lang.NullPointerException: Null value appeared in non-nullable field: top level Product input object If the schema is inferred from a Scala tuple/case class, or a Java bean, please try to use scala.Option[_] or other nullable types (e.g. java.la
【Spark】使用break报错：Caused by: scala.util.control.BreakControl
chibuqikendeji的博客
12-03 847
Caused by: scala.util.control.BreakControl 处理这个错误，首先先保证 break 与 breakable 配套使用，一般来说配套使用之后就不会报这个错了，比如下面这样： def main(args: Array[String]) { val numList = List(1,2,3,4,5,6,7,8,9,10); val loop ...
java break报错,【Spark】使用break报错：Caused by: scala.util.control.BreakControl
weixin_39676979的博客
03-19 517
错误信息：Caused by: scala.util.control.BreakControl处理这个错误，首先先保证 break 与 breakable 配套使用，一般来说配套使用之后就不会报这个错了，比如下面这样：def main(args: Array[String]) { val numList = List(,,,,,,,,,); val loop = newBreaks; loop.b...
scala.util.control.BreakControl
chbxw
03-31 2684
使用util.control.Breaks.break模拟java中的break for (tu <- it.toList) { mileageSum += tu._1 electricitySum += tu._2 personNum += 1 ...
scala 中break的用法 throw exception “scala.util.control.BreakControl”?
enjoy
05-05 1981
scala跟一般的语言不同，直接使用break就会报错，必须导入 import scala.util.control.Breaks 导入后必须创建breaks对象 val loop = new Breaks 在想结束的代码中使用break的话在外层必须使用loop.breakable{}包住最后调用loop.break方法进行结束循环代码如下： def getFromIndex(s...
Scala 中的break和continue
抓住人生的每一分每一秒，胜过虚度中的每一年每一月！！！
08-24 3177
scala中，没有break/continue关键字 如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。 实现break 用法 导入Breaks包import scala.util.control.Breaks._ 使用breakable将for表达式包起来 for表达式中需要退出循环的地方，添加break()方法调用 示例 使用for表达式打印1-100的数字，如果数字到达50，退出for表达式 参
Scala入门编程复盘之一
默主归沙的博客
04-06 2331
1 Scala与java的关系 基于JVM运行 :scala编译的文件也是.class字节码，转为字节码运行在JVM虚拟机上 两者可以相互调用：Scala和Java之间的包以及方法都可以相互调用的。 面向函数式编程：Java8的lambda表达式就是面向函数编程的，Scala是面向函数和面向对象的语言。 Java设计之初是OOP（封装、继承、多态，反正就是面向对象的），Scala设计之初是为了FOP。 2 Scala的数据类型 数据类型 描述 Byte 8bit的有符号数字，范围-
Spark SQL 中org.apache.spark.sql.functions归纳
xiaohu21的博客
10-06 2638
Spark SQL 中org.apache.spark.sql.functions归纳 注意，这里使用的是scala 2.12.12，spark版本是最新的3.0.1版本 1. Sort functions /** * Returns a sort expression based on ascending order of the column. * {{{ * df.sort(asc("dept"), desc("age")) * }}} * * @group s
使用scala编写spark任务 报错 2025-10-10 13:39:36,753 WARN org.apache.spark.scheduler.TaskSetManager - Lost task 0.1 in stage 434.0 (TID 2053, 0c2m10306.cloud.m8.am281, executor 1): java.sql.BatchUpdateException: Batch entry 150 update analy.vs_cust_org_voltrate_range set IS_SEASONAL='0' where OBJ_ID='765353ce-a110-48c3-9064-baa6a096d8ab' was aborted: ERROR: deadlock detected Detail: Process 11247 waits for ShareLock on transaction 3913661038; blocked by process 7481. Process 7481 waits for ShareLock on transaction 3913661019; blocked by process 7461. Process 7461 waits for ShareLock on transaction 3913661031; blocked by process 7471. Process 7471 waits for ShareLock on transaction 3913661024; blocked by process 7500. Process 7500 waits for ShareLock on transaction 3913661022; blocked by process 7486. Process 7486 waits for ShareLock on transaction 3913661017; blocked by process 7510. Process 7510 waits for ShareLock on transaction 3913661036; blocked by process 7474. Process 7474 waits for ShareLock on transaction 3913673043; blocked by process 11247. Hint: See server log for query details. Where: while updating tuple (350,9) in relation "vs_cust_org_voltrate_range_partition_20240131" Call getNextException to see other errors in the batch. at org.postgresql.jdbc.BatchResultHandler.handleError(BatchResultHandler.java:165) at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2348) at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2080) at org.postgresql.core.v3.QueryExecutorImpl.flushIfDeadlockRisk(QueryExecutorImpl.java:1437) at org.postgresql.core.v3.QueryExecutorImpl.sendQuery(QueryExecutorImpl.java:1462) at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:527) at org.postgresql.jdbc.PgStatement.internalExecuteBatch(PgStatement.java:881) at org.postgresql.jdbc.PgStatement.executeBatch(PgStatement.java:904) at org.postgresql.jdbc.PgPreparedStatement.executeBatch(PgPreparedStatement.java:1634) at com.bmsoft.scala.utils.SaveToPostgreSQL$$anonfun$insertCustom$1$$anonfun$apply$8.apply(SaveToPostgreSQL.scala:538) at com.bmsoft.scala.utils.SaveToPostgreSQL$$anonfun$insertCustom$1$$anonfun$apply$8.apply(SaveToPostgreSQL.scala:532) at scala.collection.Iterator$class.foreach(Iterator.scala:893) at scala.collection.AbstractIterator.foreach(Iterator.scala:1336) at com.bmsoft.scala.utils.SaveToPostgreSQL$$anonfun$insertCustom$1.apply(SaveToPostgreSQL.scala:532) at com.bmsoft.scala.utils.SaveToPostgreSQL$$anonfun$insertCustom$1.apply(SaveToPostgreSQL.scala:524) at org.apache.spark.rdd.RDD$$anonfun$foreachPartition$1$$anonfun$apply$29.apply(RDD.scala:929) at org.apache.spark.rdd.RDD$$anonfun$foreachPartition$1$$anonfun$apply$29.apply(RDD.scala:929) at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2067) at org.apache.spark.SparkContext$$anonfun$runJob$5.apply(SparkContext.scala:2067) at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87) at org.apache.spark.scheduler.Task.run(Task.scala:109) at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:345) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) at java.lang.Thread.run(Thread.java:745) Caused by: org.postgresql.util.PSQLException: ERROR: deadlock detected Detail: Process 11247 waits for ShareLock on transaction 3913661038; blocked by process 7481. Process 7481 waits for ShareLock on transaction 3913661019; blocked by process 7461. Process 7461 waits for ShareLock on transaction 3913661031; blocked by process 7471. Process 7471 waits for ShareLock on transaction 3913661024; blocked by process 7500. Process 7500 waits for ShareLock on transaction 3913661022; blocked by process 7486. Process 7486 waits for ShareLock on transaction 3913661017; blocked by process 7510. Process 7510 waits for ShareLock on transaction 3913661036; blocked by process 7474. Process 7474 waits for ShareLock on transaction 3913673043; blocked by process 11247. Hint: See server log for query details. Where: while updating tuple (350,9) in relation "vs_cust_org_voltrate_range_partition_20240131" at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2657) at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:2347) ... 23 more
最新发布
10-11
import scala.util.control.NonFatal def withRetry[T](maxRetries: Int = 3)(block: => T): T = { var retries = 0 var result: Option[T] = None while (retries < maxRetries && result.isEmpty) { try { ...
Scala break和continue
2401_82669481的博客
09-14 253
在Scala里面是没有break和continue的 但我们可以导入 如图。代码:我们首先打breakable放在循环内部,在里面写break。代码:我们首先打breakable放在循环外部在里面写break。continue是退出本次循环执行下一次循环。break是退出整个循环。
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3359
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
spark对spark.driver.maxResultSize报错的解决方案
jane3von的专栏
12-07 6408
最近有个需求需要union 上千甚至更多的dataset数据，然后cache(),然后count(),在执行count(）这个action操作的时候，spark程序报错，如下： org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 16092 tasks (16.0 GB) is bigger than spark.driver.maxResultSize
Spark程序运行常见错误解决方法以及优化
AcceptedLin的博客
08-19 4825
Spark程序运行常见错误解决方法及优化 一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 2.报错提示 (1) missing output loc...
spark任务执行过程中经常性的failed但是任务并没有失败最后总能跑完
王亮的博客
09-15 6627
1.现象场景：在spark执行程序中会看到很多的failed但是过程能正常执行完 查看如下：ExecutorLostFailure (executor 11 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after 941664 ms 表面现象的问题是直接某个机器由于心跳超时，超过一定时间没有向master发送心跳，导致master认为该机器节点挂掉，然后将任务放到别的机器上计算导致
Spark Scheduler模块源码分析之DAGScheduler
weixin_30867015的博客
07-13 312
　　本文主要结合Spark-1.6.0的源码，对Spark中任务调度模块的执行过程进行分析。Spark Application在遇到Action操作时才会真正的提交任务并进行计算。这时Spark会根据Action操作之前一系列Transform操作的关联关系，生成一个DAG，在后续的操作中，对DAG进行Stage划分，生成Task并最终运行。整个过程如下图所示，DAGSche...
【spark exception】org.apache.spark.SparkException java.lang.ArrayIndexOutOfBoundsException 造成数组越界
helloxiaozhe的博客
06-28 3723
【spark exception】org.apache.spark.SparkException java.lang.ArrayIndexOutOfBoundsException 造成数组越界 当执行以下spark-sql是时候 insert overwrite table hive_user_income_detail_daily partition (pday='20190620',i...
Spark（五十二）：Spark Scheduler模块之DAGScheduler流程
weixin_30430169的博客
06-26 481
导入 从一个Job运行过程中来看DAGScheduler是运行在Driver端的，其工作流程如下图： 图中涉及到的词汇概念： 1. RDD——Resillient Distributed Dataset 弹性分布式数据集。 2. Operation——作用于RDD的各种操作分为transformation和action。 3. Job——作业，一个JOB包含多个RDD及作用于相应...
not serializable result: org.apache.kafka.clients.consumer.ConsumerRecord
wangchao_cn的专栏
04-18 1035
解决方法 创建SparkContext时设置一个属性 set("spark.serializer","org.apache.spark.serializer.KryoSerializer") Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Ta...
sparkpython效率低_Spark: 用Python运行机器学习例子时出现错误
weixin_42499335的博客
02-22 414
在下spark新手，最近一直在学习，用pyspark跑了一些例子，都没有问题，但是运行ml例子中的random_forest_example.py的时候却出现如下错误:py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.runJob.org.apac...
import scala.util.control.Breaks._
09-11
在Scala中，`import scala.util.control.Breaks._`这行代码是用来导入`Breaks`对象的，`Breaks`是Scala标准库`util`包下的`control`模块的一部分。这个`Breaks`类提供了一些用于控制循环结构的工具，特别是`break`操作。 当你需要在某个条件满足时提前终止一个`for`, `while`等循环时，可以使用`Breaks`. 例如，你可以这样做： ```scala import scala.util.control.Breaks._ for { i <- 0 until 10 if conditionThatCausesEarlyExit(i) // 如果条件成立，就会调用break } { println(s"Processing element $i") break } println("Loop finished") ``` 在这个例子中，如果`conditionThatCausesEarlyExit(i)`返回`true`，循环会在当前迭代结束之后立即停止，并执行接下来的`println`语句。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值