【Spark】spark中的thread.sleep

原创 于 2023-10-09 14:46:07 发布 · 686 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #大数据 #分布式

Thread.sleep方法在Spark任务driver中执行通常无碍，但在worker中需注意休眠时间不超过heartbeat时间，否则可能被ResourceManagerkill。讨论了在Spark作业中使用该方法可能遇到的问题。
executor行为相关Spark sql参数源码分析
u014034497的专栏
03-10 1668
【重点】在spark sql中有对应参数为： 对应源码位置如下：org.apache.spark.scheduler.cluster.CoarseGrainedSchedulerBackend#defaultParallelismorg.apache.spark.sql.internal.SQLConf#FILES_MAX_PARTITION_BYTESorg.apache.spark.sql.internal.SQLConf#FILES_OPEN_COST_IN_BYTES 1.1.2.2 代码准备 输
spark 常用配置参数调优
csweikie的博客
10-03 1679
spark 参数调优 spark问题：(spark.sql.hive.metastore.version,1.2.1) ERROR YarnScheduler: Lost executor 53 on node100p32: Container killed by YARN for exceeding memory limits. 10.0 GB of 10 GB physical memory used. Consider boosting spark.yarn.executor.memoryOv
Java多线程的sleep（休眠）
weixin_47556601的博客
02-23 1万+
大家好，今天分享Java多线程的sleep（休眠） 了解这样的几个概念： 1.sleep指向当前线程阻塞的毫秒数（就是可以让线程停一会） 2.sleep 存在异常 InterruptedException 3.sleep 时间达到后线程进入就绪状态 4.sleep 可以模拟网络延时，倒计时等 5.sleep 每一个对象都有一个锁，sleep 不会释放锁 写源码： package Demo04; public class TestSleep implements Runnable{ //使用Run
Spark第二课RDD的详解
qq_42265608的博客
08-16 1091
RDDJAVA中的IO。
spark相关
星尘逸风的博客
03-09 3407
文章目录简介安装hdfs命令概念流程RDD函数运行模式standalone运行模式yarn运行模式流处理监控端口监控文件停止任务问题 最后更新 2022.03.09 简介 分布式计算的前提是 计算的数据 分区后 各区无状态，适合用spark分布式管理 分布式计算的前提是数据最好是分布式存储 然后各个算子（算法）计算的结果与结果之间不相关（无依赖，无状态） 一般写spark可以用java、scala、python spark有固定的格式，需要创建任务 只要部署好spark，然后任务在主节点提交就可以了，
Spark : 多线程提交优化多Job任务
dinl_vin的博客
11-19 2121
介绍 在日常业务中,spark常见的就是通过路径通配符*,{}等方式一次读取多个文件,一次批处理将这些文件做一个大job写入Hive或者ODPS,笔者最近在用Spark读取Hudi的文件时候发现了一个诡异的文件丢失Bug: 一次读入所有文件夹会有部分文件夹丢失,一开始怀疑是这部分文件夹本身有损坏,但是用spark单独读取该文件夹的时候发现数据又不会丢失. 既然一次job会丢数据,那么不妨按文件夹拆分job,每个job执行单个任务,常见就是for循环去遍历所有文件夹挨个执行,但是效率过低需要 六个小时,在资源
大数据编程实验四：SparkStreaming编程
北天的博客
12-02 2919
大数据编程实验，学习有关Spark Streaming的基本编程方法和利用Spark Streaming处理来自不同数据源的数据以及DStream的各种转换、DStream的数据输出保存到文本文件或MySQL数据库中操作。
在华为云执行spark任务报错 ERROR | [Driver] | User class threw exception: org.apache.spark.SparkException: Job 87 cancelled because SparkContext was shut down | org.apache.spark.deploy.yarn.ApplicationMaster.logError(Logging.scala:94) org.apache.spark.SparkException: Job 87 cancelled because SparkContext was shut down at org.apache.spark.scheduler.DAGScheduler.$anonfun$cleanUpAfterSchedulerStop$1(DAGScheduler.scala:1150) at org.apache.spark.scheduler.DAGScheduler.$anonfun$cleanUpAfterSchedulerStop$1$adapted(DAGScheduler.scala:1148) at scala.collection.mutable.HashSet.foreach(HashSet.scala:79) at org.apache.spark.scheduler.DAGScheduler.cleanUpAfterSchedulerStop(DAGScheduler.scala:1148) at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onStop(DAGScheduler.scala:2589) at org.apache.spark.util.EventLoop.stop(EventLoop.scala:84) at org.apache.spark.scheduler.DAGScheduler.stop(DAGScheduler.scala:2489) at org.apache.spark.SparkContext.$anonfun$stop$12(SparkContext.scala:2214) at org.apache.spark.util.Utils$.tryLogNonFatalError(Utils.scala:1584) at org.apache.spark.SparkContext.stop(SparkContext.scala:2214) at org.apache.spark.SparkContext.$anonfun$new$38(SparkContext.scala:667) at org.apache.spark.util.SparkShutdownHook.run(ShutdownHookManager.scala:248) at org.apache.spark.util.SparkShutdownHookManager.$anonfun$runAll$2(ShutdownHookManager.scala:222) at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23) at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:2159) at org.apache.spark.util.SparkShutdownHookManager.$anonfun$runAll$1(ShutdownHookManager.scala:222) at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23) at scala.util.Try$.apply(Try.scala:213) at org.apache.spark.util.SparkShutdownHookManager.runAll(ShutdownHookManager.scala:222) at org.apache.spark.util.SparkShutdownHookManager$$anon$2.run(ShutdownHookManager.scala:212) at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) at java.util.concurrent.FutureTask.run(FutureTask.java:266) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:750) at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:931) at org.apache.spark.SparkContext.runJob(SparkContext.scala:2341) at org.apache.spark.SparkContext.runJob(SparkContext.scala:2362) at org.apache.spark.SparkContext.runJob(SparkContext.scala:2381) at org.apache.spark.sql.execution.SparkPlan.executeTake(SparkPlan.scala:472) at org.apache.spark.sql.execution.SparkPlan.executeTake(SparkPlan.scala:425) at org.apache.spark.sql.execution.CollectLimitExec.executeCollect(limit.scala:47) at org.apache.spark.sql.Dataset.collectFromPlan(Dataset.scala:3718) at org.apache.spark.sql.Dataset.$anonfun$head$1(Dataset.scala:2737) at org.apache.spark.sql.Dataset.$anonfun$withAction$1(Dataset.scala:3709) at org.apache.spark.sql.execution.SQLExecution$.$anonfun$withNewExecutionId$5(SQLExecution.scala:111) at org.apache.spark.sql.execution.SQLExecution$.withSQLConfPropagated(SQLExecution.scala:173) at org.apache.spark.sql.execution.SQLExecution$.$anonfun$withNewExecutionId$1(SQLExecution.scala:94) at org.apache.spark.sql.SparkSession.withActive(SparkSession.scala:781) at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:68) at org.apache.spark.sql.Dataset.withAction(Dataset.scala:3707) at org.apache.spark.sql.Dataset.head(Dataset.scala:2737) at org.apache.spark.sql.Dataset.take(Dataset.scala:2944) at org.apache.spark.sql.Dataset.getRows(Dataset.scala:306) at org.apache.spark.sql.Dataset.showString(Dataset.scala:343) at org.apache.spark.sql.Dataset.show(Dataset.scala:832) at org.apache.spark.sql.Dataset.show(Dataset.scala:809) at com.bmsoft.operate.VsZConductorOverlimiteventPeriod.ConductorconductorOverlimiteventInfo(VsZConductorOverlimiteventPeriod.scala:589) at com.bmsoft.operate.VsZConductorOverlimiteventPeriod.conductorOverlimiteventInfo(VsZConductorOverlimiteventPeriod.scala:59) at com.bmsoft.task.VsZConductorOverlimiteventPeriodTask$.func(VsZConductorOverlimiteventPeriodTask.scala:24) at com.bmsoft.task.VsZConductorOverlimiteventPeriodTask$.$anonfun$main$1(VsZConductorOverlimiteventPeriodTask.scala:28) at com.bmsoft.task.VsZConductorOverlimiteventPeriodTask$.$anonfun$main$1$adapted(VsZConductorOverlimiteventPeriodTask.scala:28) at com.bmsoft.scala.utils.LeoUtils.package$.$anonfun$taskEntry_daYu$3(LeoUtils.scala:437) at scala.runtime.java8.JFunction1$mcVJ$sp.apply(JFunction1$mcVJ$sp.java:23) at scala.collection.immutable.NumericRange.foreach(NumericRange.scala:75) at com.bmsoft.scala.utils.LeoUtils.package$.taskEntry_daYu(LeoUtils.scala:424) at com.bmsoft.task.VsZConductorOverlimiteventPeriodTask$.main(VsZConductorOverlimiteventPeriodTask.scala:28) at com.bmsoft.task.VsZConductorOverlimiteventPeriodTask.main(VsZConductorOverlimiteventPeriodTask.scala) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:733)
最新发布
08-22
我们正在处理一个Spark任务报错："Job cancelled because SparkContext was shut down"。这个错误通常发生在SparkContext被关闭后仍有任务尝试运行时。...> Thread.sleep(3000) // 等待异步任务 > ```
spark源码二：yarn.client 客户端的调用流程
aiai20的博客
03-09 2010
上次说到任务在submit的时候会根据，资源平台的不同，反射调用不同的类来调度任务，首先说下yarn的调度入口。 找到org.apache.spark.deploy.yarn.Client 总结下：client主要是初试话参数，封装RM为创建Application所需要的信息，最后通过RPC channel 向yarn发送启动ApplicationMaster的请求 //从main方...
运行Spark常见问题处理方法（持续更新中......）
Fortuna_i的博客
06-11 4329
1.MaxResultSize问题 首先，出现这个错误的时候Spark会产生如下错误信息： org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 77 tasks (1028.5 MB) is bigger than spark.driver....
spark性能调优参数总结
08-15
详细讲解了创建spark应用的参数含义以及出现问题对应的调优策略
Spark 在一个sparksession中并行的执行多个Job
枪枪枪的博客
12-29 4769
对程序中设计的DataFrame、DataSet，将其分区数修改到一个合适的值，我这里用的是：当前环境下可用的CPU核数/并行数量。使用Callable或Runable类，重写类中的call方法或run方法，将要执行的job放入call或run方法中提交。在这个情景下，采取并行的方式同时处理n（假设n=5）个文件，能够更有效的利用服务器的资源。有两个独立的job A和B可以并行执行，按spark默认的方式A和B是顺序执行的。现有一个文件名构成的列表，要对列表内的文件进行一系列的处理后将数据写入数据库。
Spark是如何实现远程Thread Dump 的？
半日闲的博客
05-03 1907
问题研究入口还是从web页面ExecutorThreadDumpPage入手，提供ThreadDump的入口在SparkContext的getExecutorThreadDump方法。 // 1. 查看Executor Thread页面入口，通过 executorId 获取ThreadDump, private[ui] class ExecutorThreadDumpPage( paren...
谈Spark下并行执行多个Job的问题
热门推荐
茅庐
03-20 2万+
本文结合笔者的实践场景，探讨了Spark下并行执行多个Job的问题。梳理了Spark任务调度的机制，并总结了实践中需要考虑的问题。
Spark优化，多线程提交任务，提升效率
epitomizelu的专栏
03-30 4524
val listBuffer = new ListBuffer[Future[String]] val service: ExecutorService = Executors.newFixedThreadPool(4) for (i <- 0 to 3) { val task: Future[String] = service.submit(new Callable[String] { override def call(): String = {
Spark 延迟30秒
fansy1990的专栏
12-26 2362
Spark延迟30秒Spark延迟30秒1. 环境/版本/测试代码1.1 使用软件版本：1.2 集群部署1.3 测试代码2. 时间线3. 问题重述及分析 Spark延迟30秒 问题引出：问题来源于一次小的测试，在进行一个常规的读取Hive数据，并使用Spakr MLlib中的Describe进行基本的表统计时，发现Executor的任务发起到任务实际执行相差30秒左右，故此引出本篇博客。 1. 环...
Spark第一天和第二天总结
xiaodi2016的博客
01-14 1378
一：分布式基础架构 二：Spark大数据分析计算引擎 Spark在传统的MapReduce 计算框架的基础上，对计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的RDD计算模型。 软件是完整的，框架是不全的，我们自己写的代码逻辑，需要部署到环境中才能够运行； val spakConf = new SparkConf().setMaster("local").setAppName("WordCount").set...
Spark的延迟执行再理解
qq_27639777的博客
04-16 1478
首先，大家可以猜测下如下代码的执行结果，是否会报错？ val df = Seq((0, "ben", "student"),(1, "jim", "teacher")).toDF("id", "name", "job") val df2 = df.select("id", "name") val df3 = df2.filter("job = 'teacher'") // 是否会报错？ df3....
Spark Streaming优雅的停止服务
ぃ高小莫博客
12-11 1825
暴力停掉sparkstreaming是有可能出现问题的，比如你的数据源是kafka，已经加载了一批数据到sparkstreaming中正在处理，如果中途停掉，这个批次的数据很有可能没有处理完，就被强制stop了，下次启动时候会重复消费或者部分数据丢失。  如何解决呢？ 一、如果只是本地并且一次性的测试，只需要在SparkConf里面设置下面的参数即可 val conf = new S
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值