Spark : ContextCleaner清理器

于 2020-07-04 10:20:13 发布
阅读量4.8k 收藏 1
点赞数
分类专栏： 大数据-spark 文章标签： spark Context Cleaner 清理器
Spark运行过程中会产生大量临时文件和数据，如未清理可能导致集群崩溃。ContextCleaner在SparkContext初始化时开启，负责清理RDD、shuffle、Broadcast、累加器和检查点等。清理线程收集待删数据的引用，通过System.gc()进行垃圾回收。在应用结束时调用Stop()方法关闭。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.美图

在这里插入图片描述

Spark运行的时候，会产生一堆临时文件，临时数据，比如持久化的RDD数据在磁盘上，没有持久化的在内存中，比如shuffle的临时数据等，如果每次运行完，或者没有运行完杀掉了，不清理，会产生大量的无用数据，最终造成大数据集群崩溃而死。

2. 初始化

ContextCleaner的初始化是在SparkContext中初始化的，这个功能默认是必须开
启的。

  _cleaner =
      if (_conf.getBoolean(
了解本专栏 订阅专栏 解锁全文
Spark2.1.0——ContextCleaner的工作原理分析
beliefer的博客
12-17 6895
ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。 创建ContextCleaner 创建ContextCleaner的代码如下。 _cleaner = if (_conf....
Spark作业提交
jpfx6008的博客
08-11 1236
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
spark的ContextCleaner清理
不说话装高手
04-27 2033
ContextCleaner是Spark中用来清理无用rdd，broadcast等数据的清理器，其主要用到的是java的weakReference弱引用来达成清理无用数据的目的。 ContextCleaner主要由两个线程两个集合组成。 private val referenceBuffer = Collections.newSetFromMap[CleanupTaskWeakRe...
spark学习：ContextCleaner清理器
hellozhxy的博客
01-16 3455
Spark运行的时候，会产生一堆临时文件，临时数据，比如持久化的RDD数据在磁盘上，没有持久化的在内存中，比如shuffle的临时数据等，如果每次运行完，或者没有运行完杀掉了，不清理，会产生大量的无用数据，最终造成大数据集群崩溃而死。 初始化 ContextCleaner的初始化是在SparkContext中初始化的，这个功能默认是必须开  启的。   _cleaner =       if ...
spark core 2.0 ContextCleaner
houzhizhen的专栏
01-11 839
CleanupTaskWeakReference是整个cleanup的核心，这是一个普通类，有三个成员，并且继承WeakReference。referent是一个weak reference，当指向的对象被gc时，把CleanupTaskWeakReference放到队列里，详情见：java WeekReference ReferenceQueue测试 /** * A WeakRe
SparkContext的初始化（季篇）——测量系统、ContextCleaner等组件介绍
beliefer的博客
03-08 1万+
Spark按照Instance的不同，区分为Master、Worker、Application、Driver和Executor。Spark目前提供的Sink有ConsoleSink、CsvSink、JmxSink、MetricsServlet、GraphiteSink等。Spark中使用MetricsServlet作为默认的Sink。MetricsSystem的启动代码如下。
在dataworks上使用scala编写spark任务，获取hologres表数据，数据量有1个亿， 现在报错 2025-08-04 10:04:28,985 ERROR org.apache.spark.ContextCleaner - Error cleaning broadcast 7 org.apache.spark.SparkException: Exception thrown in awaitResult: at org.apache.spark.util.ThreadUtils$.awaitResult(ThreadUtils.scala:205) ~[spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.rpc.RpcTimeout.awaitResult(RpcTimeout.scala:75) ~[spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.storage.BlockManagerMaster.removeBroadcast(BlockManagerMaster.scala:155) ~[spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.broadcast.TorrentBroadcast$.unpersist(TorrentBroadcast.scala:321) ~[spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.broadcast.TorrentBroadcastFactory.unbroadcast(TorrentBroadcastFactory.scala:45) ~[spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.broadcast.BroadcastManager.unbroadcast(BroadcastManager.scala:66) ~[spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.ContextCleaner.doCleanupBroadcast(ContextCleaner.scala:238) [spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.ContextCleaner$$anonfun$org$apache$spark$ContextCleaner$$keepCleaning$1$$anonfun$apply$mcV$sp$1.apply(ContextCleaner.scala:194) [spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.ContextCleaner$$anonfun$org$apache$spark$ContextCleaner$$keepCleaning$1$$anonfun$apply$mcV$sp$1.apply(ContextCleaner.scala:185) [spark-core_2.11-2.3.0-odps0.30.0.jar:?] at scala.Option.foreach(Option.scala:257) [scala-library-2.11.8.jar:?] at org.apache.spark.ContextCleaner$$anonfun$org$apache$spark$ContextCleaner$$keepCleaning$1.apply$mcV$sp(ContextCleaner.scala:185) [spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.util.Utils$.tryOrStopSparkContext(Utils.scala:1319) [spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.ContextCleaner.org$apache$spark$ContextCleaner$$keepCleaning(ContextCleaner.scala:178) [spark-core_2.11-2.3.0-odps0.30.0.jar:?] at org.apache.spark.ContextCleaner$$anon$1.run(ContextCleaner.scala:73) [spark-core_2.11-2.3.0-odps0.30.0.jar:?] Caused by: java.io.IOException: Failed to send RPC 5204201379953139886 to /25.91.0.79:52768: java.nio.channels.ClosedChannelException at org.apache.spark.network.client.TransportClient.lambda$sendRpc$2(TransportClient.java:237) ~[spark-network-common_2.11-2.3.0-odps0.30.0.jar:?] at io.netty.util.concurrent.DefaultPromise.notifyListener0(DefaultPromise.java:507) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.util.concurrent.DefaultPromise.notifyListenersNow(DefaultPromise.java:481) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.util.concurrent.DefaultPromise.notifyListeners(DefaultPromise.java:420) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.util.concurrent.DefaultPromise.tryFailure(DefaultPromise.java:122) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.AbstractChannel$AbstractUnsafe.safeSetFailure(AbstractChannel.java:987) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.AbstractChannel$AbstractUnsafe.write(AbstractChannel.java:869) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.DefaultChannelPipeline$HeadContext.write(DefaultChannelPipeline.java:1316) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeWrite0(AbstractChannelHandlerContext.java:738) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.AbstractChannelHandlerContext.invokeWrite(AbstractChannelHandlerContext.java:730) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.AbstractChannelHandlerContext.access$1900(AbstractChannelHandlerContext.java:38) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.AbstractChannelHandlerContext$AbstractWriteTask.write(AbstractChannelHandlerContext.java:1081) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.AbstractChannelHandlerContext$WriteAndFlushTask.write(AbstractChannelHandlerContext.java:1128) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.AbstractChannelHandlerContext$AbstractWriteTask.run(AbstractChannelHandlerContext.java:1070) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.util.concurrent.AbstractEventExecutor.safeExecute(AbstractEventExecutor.java:163) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:403) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.channel.nio.NioEventLoop.run(NioEventLoop.java:463) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.util.concurrent.SingleThreadEventExecutor$5.run(SingleThreadEventExecutor.java:858) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at io.netty.util.concurrent.DefaultThreadFactory$DefaultRunnableDecorator.run(DefaultThreadFactory.java:138) ~[netty-all-4.1.17.Final.jar:4.1.17.Final] at java.lang.Thread.run(Thread.java:745) ~[?:1.8.0_65-AliJVM] Caused by: java.nio.channels.ClosedChannelException at io.netty.channel.AbstractChannel$AbstractUnsafe.write(...)(Unknown Source) ~[netty-all-4.1.17.Final.jar:4.1.17.Final]
最新发布
08-05
- **广播变量被无效引用**：广播变量可能被任务引用后，在ContextCleaner清理前被手动释放（如调用`unpersist()`），导致清理时找不到对象[^2]。 - **资源冲突**：Hologres连接或数据读取过程中，网络中断、表锁或...
Spark SQL性能调优：内存泄露与解决方案
- Spark的ContextCleaner负责清理已完成任务的广播和shuffle数据，但在高并发下，这个功能可能导致内存积累，driver进程因内存溢出而崩溃。 - 内存回收依赖于System.gc，禁用这个功能会削弱垃圾回收效果，因此优化...
ContextCleaner详解
qq_27639777的博客
04-19 2590
文章目录简介ContextCleaner类的组成实现ContextCleaner的创建ContextCleaner的启动ContextCleaner的关闭功能清理RDD清理shuffle清理Broadcast数据清理Accumulator数据清理检查点数据 简介 ContextCleaner用于清理任务执行过程中生成的超出应用范围的RDD、Shuffle、Broadcast、Accumulato...
spark源码分析-ContextCleaner缓存清理
Shie_3的博客
07-15 2054
ContextCleaner是用于清理spark执行过程中内存，主要用于清理任务执行过程中生成的缓存RDD、Broadcast、Accumulator、Shuffle数据，防止造成内存压力。 ContextCleaner会在SparkContext创建过程中，被实例化： _cleaner = if (_conf.getBoolean("spark.cleaner.referen...
Spark问题11之广播失败
Keep Learning
03-06 6288
更多代码请见：https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本：alluxio（tachyon） 0.7.1，spark-1.5.2,hadoop-2.6.01.问题描述运行是出现Error cleaning broadcast 72.运行记录：17/02/28 08:28:48 ERROR ContextCleaner: Er
异常 spark 运行 未解决
myrainblues的专栏
03-30 4521
3/user/BlockManagerActor1#-1503002418]] after [30000 ms]} 15/03/30 14:32:31 ERROR spark.ContextCleaner: Error cleaning broadcast 3 akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka.tcp:
最近在SPARK上定位的几个内存泄露问题总结
qq_33160722的博客
01-05 7602
最近为了测试延云YDB在高并发请求和持续性请求情况下的表现，发现了spark的不少关于内存泄露的问题，这些问题均在延云YDB提供的SPARK版本中得以修正，现将问题总结如下。 1.    高并发情况下的内存泄露 很遗憾，spark的设计架构并不是为了高并发请求而设计的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。 a)    在进行大量小SQL的压测过程
Spark如何删除无效rdd checkpoint
weixin_30654583的博客
06-06 1623
spark可以使用checkpoint来作为检查点，将rdd的数据写入hdfs文件，也可以利用本地缓存子系统。 当我们使用checkpoint将rdd保存到hdfs文件时，如果任务的临时文件长时间不删除，长此以往，hdfs会出现很多没有用的文件，spark也考虑到了这一点，因此，用了一些取巧的方式来解决这种问题。 spark config: spark.cleaner.referenceTrack...
Spark累加器(Accumulator)陷阱及解决办法
热门推荐
偷闲小苑
03-25 1万+
程序中可能会使用到spark提供的累加器功能，可是如果你不了解它的运行机制，有时候会带来一些负面作用（错误的累加结果）。 下文会介绍产生错误结果的原因，并提供一种解决办法。 Accumulator简介Accumulator是spark提供的累加器，顾名思义，该变量只能够增加。 只有driver能获取到Accumulator的值（使用value方法），Task只能对其做增加操作（使用 +=
Spark Cleaner 清理器
sy532151398的博客
04-30 1575
Spark Cleaner 清理器功能概述Cleaner的创建清理逻辑RDD的清理Shuffle的清理Broadcast的清理Accum的清理Checkpoint的清理参考 功能概述 这里使用的是一个弱引用（WeakReference）队列，主要用于对RDD，shuffle和广播状态异步清理。当这些对象被gc回收以后，会被放入待清理队列referenceQueue中等待清理，实际的清理动作是在单独...
以wordcount理解spark的执行过程
AStar的博客
07-09 4140
以wordcount理解spark的执行过程： 1、代码以及交互界面的回应: （RDD是spark的核心抽象，所有的计算都围绕RDD进行，生成RDD，然后可以对RDD进行各种操作， 这些操作主要有两类： Transformation（转换） [一个RDD进过计算生成一个新的RDD,比如接下来示例中的flatMap、map、reduceByKey] 和 Action（动作） [返
Spark缓存清理机制
u014033218的专栏
09-05 7948
unpersist http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html#unpersist Dematerializes the RDD (i.e. Erases all data items from hard-disk and memory). However, the RDD object remains
探索Spark：内存计算的大数据加速器
Spark，全称为Apache Spark，是一个开源的分布式计算系统，由加州大学伯克利分校的AMPLab在2009年创建。其设计理念是为了加速大数据分析的执行速度，无论是读取还是处理数据，都能达到前所未有的高效。Spark的核心...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值