SPARK中metrics是怎么传递的

【spark】metrics信息的获取(监听器等) 一、背景 最近看到了一篇文章,说的是spark小文件合并的问题 Spark 小文件合并优化实践:https://mp.weixin.qq.com/s/195nFBH0kpZEXekHiQAfrA(作者:偷闲小苑) 其实关于小文件合并我之前也写过类似的文章,大体的方案也就是 1、存之前做一个数据量的预估,然后repartition/coalesce 2、存完之后,触发一个merge合并小文件(可以是hive也可以是spark任务) 3、使用一些数据湖(delta lake,hudi,iceber 阅读详情

背景

本文基于spark 3.3.0
在看spark源码的时候,总是会看到类似longMetric("numOutputRows")的信息,但是一般来说这种metrics的定义一般是在Driver端,而真正的+1或者-1操作都是在executor进行的,这种指标到底是怎么传递的呢?我们分析一下

分析

以FilterExec物理计划为例:

case class FilterExec(condition: Expression, child: SparkPlan)
  extends UnaryExecNode with CodegenSupport with GeneratePredicateHelper {
  ...
  override lazy val metrics = Map(
    "numOutputRows" -> SQLMetrics.createMetric(sparkContext, "number of output rows"))
  ...
  protected override def doExecute(): RDD[InternalRow] = {
    val numOutputRows = longMetric("numOutputRows")
    child.execute().mapPartitionsWithIndexInternal { (index, iter) =>
      val predicate = Predicate.create(condition, child.output)
      predicate.initialize(0)
      iter.filter { row =>
        val r = predicate.eval(row)
        if (r) numOutputRows += 1
        r
      }
    }
  }

为什么这么写可以

  • "numOutputRows" -> SQLMetrics.createMetric(sparkContext, "number of output rows")),这里只定义了一个numOutputRows的指标,用来记录该物理操作过滤了多少行的数据
  • if (r) numOutputRows += 1 这个操作会在executor端执行
    其实要看懂这个操作,我们要深入一下SQLMetrics.createMetric的实现
 def createMetric(sc: SparkContext, name: String): SQLMetric = {
    val acc = new SQLMetric(SUM_METRIC)
    acc.register(sc, name = metricsCache.get(name), countFailedValues = false)
    acc
  }
 ...
 abstract class AccumulatorV2[IN, OUT] extends Serializable {

其中SQLMetric类是继承AccumulatorV2,从而继承了Serializable,所以这个类是可序列化的,而且是可java序列化的,这一点很重要。
再看SQLMetric的register方法,

 private[spark] def register(
    sc: SparkContext,
    name: Option[String] = None,
    countFailedValues: Boolean = false): Unit = {
  if (this.metadata != null) {
    throw new IllegalStateException("Cannot register an Accumulator twice.")
  }
  this.metadata = AccumulatorMetadata(AccumulatorContext.newId(), name, countFailedValues)
  AccumulatorContext.register(this)
  sc.cleaner.foreach(_.registerAccumulatorForCleanup(this))
}
  • this.metadata = AccumulatorMetadata(AccumulatorContext.newId(), name, countFailedValues)分配一个拥有全局唯一的id的AccumulatorMetadata实例
  • AccumulatorContext.register(this) 这个调用了往map中登记了以全局唯一id为key,value为WeakReference的值,这里登记到map的作用就是后续Task会对该metrics的值进行操作,下面会说到
  • sc.cleaner.foreach(_.registerAccumulatorForCleanup(this)) 这步操作和之前的文章说的一样SPARK 是怎么清除Shuffle中间结果数据的,只不过这里只是清理了Driver端的metrics

这里很重要:
在scala里会有闭包的概念(这里可以自己网上查找原理),但是spark也会对闭包进一步进行处理,详见ClosureCleaner.clean方法。具体一点就是在task发送给Executor的时候,会进行RDD的序列化:closureSerializer.serialize((stage.rdd, stage.shuffleDep),总结一下,简单来说,就是exeuctor会序列化用到的变量,所以说SQLMetric必须是可java序列化的(同时全局唯一的id也会被序列化)。

executor端的变量怎么传递到Driver端的

  1. 我们先来看AccumulatorV2的readObject方法:
 private def readObject(in: ObjectInputStream): Unit = Utils.tryOrIOException {
  in.defaultReadObject()
  if (atDriverSide) {
    atDriverSide = false

    // Automatically register the accumulator when it is deserialized with the task closure.
    // This is for external accumulators and internal ones that do not represent task level
    // metrics, e.g. internal SQL metrics, which are per-operator.
    val taskContext = TaskContext.get()
    if (taskContext != null) {
      taskContext.registerAccumulator(this)
    }
  } else {
    atDriverSide = true
  }
}

这个代码会在Executor执行,所以会执行taskContext.registerAccumulator(this)从而调用taskMetrics.registerAccumulator(a),从而保存在名为externalAccums的ArrayBuffer中
2. 再看task端的执行TaskRunner的run()方法:
task = ser.deserialize[Task[Any]]( taskDescription.serializedTask, Thread.currentThread.getContextClassLoader) ... val accumUpdates = task.collectAccumulatorUpdates()

  • 这里会调用ser.deserialize方法,从而触发AccumulatorV2的readObject方法,从而该AccumulatorV2变量会保存在executor端,且保留了全局唯一id。
  • val accumUpdates = task.collectAccumulatorUpdates() 收集spark内置的metrics(如remoteBlocksFetched)和自定义的metrics,
    这个会通过execBackend.statusUpdate方法,传达Driver端,最终调用到DAGScheduler的updateAccumulators方法更新指标:
    private def updateAccumulators(event: CompletionEvent): Unit = {
    val task = event.task
    val stage = stageIdToStage(task.stageId)
    
    event.accumUpdates.foreach { updates =>
      val id = updates.id
      try {
      // Find the corresponding accumulator on the driver and update it
      val acc: AccumulatorV2[Any, Any] = AccumulatorContext.get(id) match {
        case Some(accum) => accum.asInstanceOf[AccumulatorV2[Any, Any]]
        case None =>
          throw SparkCoreErrors.accessNonExistentAccumulatorError(id)
      }
      acc.merge(updates.asInstanceOf[AccumulatorV2[Any, Any]])
      // To avoid UI cruft, ignore cases where value wasn't updated
      if (acc.name.isDefined && !updates.isZero) {
        stage.latestInfo.accumulables(id) = acc.toInfo(None, Some(acc.value))
        event.taskInfo.setAccumulables(
          acc.toInfo(Some(updates.value), Some(acc.value)) +: event.taskInfo.accumulables)
      }
    
    • acc.merge这个方法就完成了指标的更新。
    • event.taskInfo.setAccumulables这个是给当前event更新到最新的metrics,因为最终driver调用SparkListenerTaskEnd方法,从而被 AppStatusListener的onTaskEnd方法接受,从而完成Spark UI的更新(被AppStatusStore调用)。
      同时也被SQLAppStatusListener的onTaskEnd方法接受,这里读者自己看代码即可,结果也是完成Spark UI的更新(被SQLAppStatusStore调用)
  1. 再看Executor端的reportHeartBeat方法:
       private def reportHeartBeat(): Unit = {
        ...
        val accumulatorsToReport =
          if (HEARTBEAT_DROP_ZEROES) {
            taskRunner.task.metrics.accumulators().filterNot(_.isZero)
          } else {
            taskRunner.task.metrics.accumulators()
          }
        accumUpdates += ((taskRunner.taskId, accumulatorsToReport))
        }
        ... 
         val message = Heartbeat(executorId, accumUpdates.toArray, env.blockManager.blockManagerId,
      executorUpdates)
      try {
      val response = heartbeatReceiverRef.askSync[HeartbeatResponse](
        message, new RpcTimeout(HEARTBEAT_INTERVAL_MS.millis, EXECUTOR_HEARTBEAT_INTERVAL.key))
    
    这个reportHeartBeat会被周期的性的调用,用来向driver发送心跳信息,同时会带上metrics信息(包括spark内置的metrics和自定义的metrics),该方法通过向driver发送Heartbeat消息,最终会调用到DAGScheduler的executorHeartbeatReceived方法,从而被AppStatusListener的onExecutorMetricsUpdate方法接受:
      override def onExecutorMetricsUpdate(event: SparkListenerExecutorMetricsUpdate): Unit = {
      val now = System.nanoTime()
    
      event.accumUpdates.foreach { case (taskId, sid, sAttempt, accumUpdates) =>
        liveTasks.get(taskId).foreach { task =>
          val metrics = TaskMetrics.fromAccumulatorInfos(accumUpdates)
          val delta = task.updateMetrics(metrics)
          maybeUpdate(task, now)
    
          Option(liveStages.get((sid, sAttempt))).foreach { stage =>
           stage.metrics = LiveEntityHelpers.addMetrics(stage.metrics, delta)
           maybeUpdate(stage, now)
    
           val esummary = stage.executorSummary(event.execId)
           esummary.metrics = LiveEntityHelpers.addMetrics(esummary.metrics, delta)
           maybeUpdate(esummary, now)
         }
       }
    }
    
    这里更新的是正在运行的task的指标更新,从而更新到Spark UI界面(被AppStatusStore调用)。
    还有被SQLAppStatusListener的onExecutorMetricsUpdate方法接受,这里读者自己看代码即可,结果也是完成Spark UI的更新(被SQLAppStatusStore调用)

总结

在Driver端定义的metrics,会被反序列化到Executor端,在Executor端,通过两种方式传回Driver端:

  • 在任务运行期间,利用heartbeat心跳来传递metrics
  • 在任务结束以后,利用任务结果的更新来传递metrics
    最终,都是通过sparkListener:SQLAppStatusListener和 AppStatusListener分别完成Spark UI状态的更新。
Spark核心知识点和面试高频考点 Apache Spark 是一个开源的统一分布式计算引擎,它以内存计算为核心,提供了 Java、Scala、Python、R 等高级 API,并提供以下功能:Spark Core(核心基础):负责分布式任务调度、内存管理、容错、存储交互等基础功能。它引入了 RDD(弹性分布式数据集) 这一核心抽象,是所有其他组件的基石。Spark SQL(结构化数据处理):用于处理结构化与半结构化数据,提供了DataFrame、Dataset,以及SQL查询引擎。底层也是基于RDD进行了封装优化。Spark Streami 阅读详情

相关推荐

Spark 之 metrics

【代码】Spark 之 metrics。

zhixingheyi_tian的博客 506

Spark Metrics配置详解

和Hadoop类似,在Spark中也存在很多的Metrics配置相关的参数,它是基于Coda Hale Metrics Library的可配置Metrics系统,我们可以通过配置文件进行配置,通过Spark的Metrics系统,我们可以把Spark Metrics的信息报告到各种各样的Sink,比如HTTP、JMX以及CSV文件。   Spark的Metrics系统目前支持以下的实例:  

笔尖的痕的专栏 3549

spark-metrics:Spark指标相关的自定义类和接收器(例如Prometheus)

Apache Spark指标扩展 这是与ApacheSpark指标相关的自定义类(例如源,接收器)的存储库。 我们试图用Prometheus接收器扩展Spark Metrics子系统,但没有在上游合并。 为了支持其他人使用Prometheus,我们将接收器外部化并通过此存储库提供,因此无需构建Apache Spark fork。 有关我们如何使用此扩展和的Prometheus Sink的更多信息,请阅读以下文章:

掌握Spark性能指标 —— spark-metrics库的深度解析与应用指南

掌握Spark性能指标 —— spark-metrics库的深度解析与应用指南 项目简介 spark-metrics 是一个专门针对Apache Spark的扩展库,它使您能够利用Dropwizard/Codahale Metrics的强大功能,将应用程序中的指标数据聚合到所有executor中,为你的Spark应用提供更全面的监控和度量。 项目技术分析 spark-metrics 支持Spark...

gitblog_00004的博客 1075

构建Jetson AGX Xavier高精度时间同步网络:从GPS/PPS授时到PTP局域网分发

本文详细介绍了如何在Jetson AGX Xavier平台上构建高精度时间同步网络。通过GPS/PPS信号进行高精度授时,并利用NTP服务校准系统时钟,最终通过PTP协议在局域网内分发亚微秒级同步时间,为机器人、自动驾驶等多传感器融合系统提供统一的时间基准。

weixin_29191761的博客 277

PyTorch复现EEG-TCNet踩坑记:从BCI IV2a数据到TCN块缺失的完整解决方案

本文详细解析了使用PyTorch复现EEG-TCNet模型的全过程,重点解决了BCI IV2a数据集预处理和TCN模块缺失的技术难题。通过标准化数据流程、跨受试者验证策略以及三种因果卷积实现方案,为运动想象分类任务提供完整解决方案,帮助研究者高效实现模型复现与优化。

weixin_30699955的博客 319

Spark Datafusion Comet 向量化Rust Native--Native算子指标如何传递到Spark UI上展示

本文分析了Apache Datafusion Comet项目中Rust Native端的指标更新机制。该机制通过Spark插件架构,利用Protobuf序列化和Arrow数据交换,将DataFusion执行引擎的指标反馈到JVM端。核心实现包括:1)通过JNI获取CometMetricNode实例;2)递归收集DataFusion物理计划的metrics数据;3)使用Protobuf编码为二进制;4)调用JNI方法将指标传输到JVM端。指标包括输出行数、计算耗时等,最终会显示在Spark UI中。该设计实现

monkeyboy_tech的博客 925

闲鱼客户端三重动态签名机制解析:x-sign、x-mini-wua与x-umt

在移动客户端安全通信中,设备级动态签名已成为主流App防范自动化攻击的核心手段。其原理是将设备指纹、运行时行为与可信硬件标识深度融合,生成不可复用、不可跨端、不可静态伪造的请求凭证。这类机制超越传统Token或Session鉴权,具备强上下文绑定性与实时熵值校验能力,广泛应用于电商、社交及开放平台等高风险接口场景。技术价值体现在有效识别模拟器、无头浏览器与集群化爬虫,同时保障多端一致性与合规数据对接。本文聚焦闲鱼客户端实际落地的x-sign(带设备上下文的混合签名)、x-mini-wua(小程序行为水印)与

weixin_35732273的博客 500

Spark NEO Core:统一配置、监控与依赖管理的Spark应用开发框架

在大数据处理领域,Apache Spark作为核心计算引擎,其应用开发常面临配置分散、监控缺失和任务依赖复杂等工程挑战。传统模式下,配置管理、指标上报与作业调度往往依赖外部脚本和系统,导致开发与运维流程割裂。Spark NEO Core框架通过引入统一配置中心、内置指标体系和声明式任务依赖管理,将Spark应用从孤立的Jar包升级为具备完整生命周期的可观测服务单元。该框架实现了配置的动态加载与集中管理,支持Prometheus等监控系统自动上报处理记录数、耗时等关键指标,并允许在代码内声明任务DAG,从而提

weixin_33806300的博客 568

视频教程-Ps教程之神奇的Photoshop自动化技术-Photoshop

Ps教程之神奇的Photoshop自动化技术 10年以上IT行业工作经验、三...

weixin_28812857的博客 1477

SonarQube 完整手册(2026 最新)

摘要: SonarQube是一款静态代码分析(SAST)平台,支持20+语言(如Java/Go/Python),提供Bug、漏洞、代码异味等检测,集成DevOps流水线。其架构包含服务端、扫描器和SonarLint插件。2026年四大版本:免费社区版(基础功能)、开发者版(多分支/PR分析)、企业版(合规治理)、数据中心版(高可用集群)。核心功能包括质量门禁(QualityGate)、密钥泄露检测及六大质量指标。部署推荐Docker+PostgreSQL,扫描支持Maven/CLI方式。

SmallBull的博客 677

SparkStreaming 新增Metrics 支持Kafka数据消费堆积监控

在SparkStreaming任务运行的过程中,由于数据流量或者网络的抖动,任务的batch很可能出现delay,所以就出现了一个需求:实时监控任务对kafka消息的消费,及时了解堆积情况。 这个需求应该有很多种解决方案,我这边提供的思路是基于Spark Metrics System的。SparkStreaming任务在运行过程中,会产生很多Metrics信息,不断地推送到Sink上面,我们这里使用到的是MetricsServlet。 打开Spark UI,我们能够很方便地通过RestAPI方式请求任务Me

PowerMe 628

论文阅读:NeurIPS 2024 JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Model

论文指出评估越狱攻击存在挑战,如缺乏评估标准、成本和成功率计算方法不一致、许多研究无法复现。为解决这些问题,作者提出了JailbreakBench,这是一个开源基准测试,包含以下组件:持续更新的越狱提示库(jailbreak artifacts)。包含100种行为的越狱数据集,符合OpenAI的使用政策。标准化的评估框架,包括威胁模型、系统提示、聊天模板和评分函数。跟踪各种LLMs攻击和防御性能的排行榜。

CSPhD-winston的博客 1434

监控Spark应用方法简介

监控Spark应用有很多种方法。Web接口每一个SparkContext启动一个web UI用来展示应用相关的一些非常有用的信息,默认在4040端口。这些信息包括:任务和调度状态的列表RDD大小和内存使用的统计信息正在运行的executor的信息环境信息你可以在浏览器中打开http://<driver-node>:4040网址来访问这些信息。如果在同一台机器上有多个SparkCont...

微信公众号:大数据从业者 339

ENVI:如何进行对自带RPC的图像进行RPC正射校正呢?

但是我们知道,人生哪里有那么多1就是1,2就是2的情况,更多的实际上是非线性的关系,所以说RPC模型(基于线性多项式模型的进一步改进)会比线性多项式模型更为妥善的解决几何校正的问题。一幅图像上的每一个像素都有它的像点坐标(x,y)(即以图像的左上角点为原点,该像素在整幅图像的哪一个行(y),哪一列(x)),以及该像素所在实际位置的DEM高程数据。那么也就是说,对于一幅图像上的每一个像素,都需要知道该像素所在的行数(y),所在的列数(x),所处位置的DEM高程数据(h) ==> 坐标(x,y,h)。...

炒茄子的博客 5674

SCI一区论文投稿终极技巧:Expert Systems With Applications;Knowledge-Based Systems

投稿计算机1区论文(如KBS、ESWA)的核心技巧包括:1)关键词选择需平衡范围与相关性,避免过细或过泛;2)研究内容聚焦单一核心创新点,避免内容分散;3)必须设计消融实验量化创新点的贡献;4)公开实验代码和数据集,确保可验证性;5)合理使用AI工具仅辅助写作,核心内容需自主完成;6)实验数据必须真实可靠。特别强调1区期刊对创新性和实验严谨性的高要求,需避免常见拒稿原因如内容分散、缺乏验证等。这些策略可提高投稿成功率,但前提是研究本身具有实质性创新。

ZhangJiqun&191cm&85kg 1162

PyDeequ架构深度解析:理解Python Deequ如何与Spark协同工作

PyDeequ是Amazon Deequ的Python API,为大数据质量验证提供了强大的Python接口。这个开源工具让数据工程师和数据科学家能够在Spark分布式计算框架上轻松实现数据质量检测,就像为数据编写单元测试一样简单。在前100个字内,PyDeequ的核心功能——大规模数据质量验证——已经明确展现,它为Python用户提供了访问Deequ数据质量引擎的能力,让大数据质量检测变得前所未

gitblog_00719的博客 456

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Spark-Shell与Spark-Submit:从数据探索到生产部署的核心工具指南

在大数据处理领域,Apache Spark作为核心计算框架,其高效使用离不开对关键命令行工具的深刻理解。Spark-Shell和Spark-Submit正是连接数据探索与生产应用的两大支柱。Spark-Shell基于REPL原理,提供了交互式编程环境,允许开发者即时执行代码并查看结果,是进行数据探查、API学习和原型验证的利器,其价值在于极大提升了开发与调试的敏捷性。而Spark-Submit则遵循作业提交与资源调度的原理,负责将验证完成的应用程序(如JAR包)提交到集群环境(如YARN、Kubernete

weixin_34238633的博客 421

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

idae运行spark代码报错ERROR MetricsSystem: Sink class org.apache.spark.metrics.sink.MetricsServlet cannot b

1.问题描述 在idea中编写,streaming处理服务器socket传递的数据,结果报错: "C:\Program Files\Java\jdk1.8.0_91\bin\java" -Didea.launcher.port=7534 "-Didea.launcher.bin.path=C:\Program Files (x86)\JetBrains\IntelliJ IDEA 2016....

小蚯蚓的博客 3445

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

让 Spark Streaming 程序在 YARN 集群上长时间运行(二)—— 日志、监控、Metrics

前段时间看到了外国朋友写的一篇文章,觉得还不错,于是就把他翻译一下,供大家参考和学习。 如果没看过第一篇文章,建议先去看一下上一篇文章哈,这里是接着上一篇文章来写的哈~ 日志 访问 Spark 应用程序日志的最简单方法是配置 Log4j 控制台 appender,等待应用程序终止并使用 yarn logs -applicationId [applicationId] 命令。 ...

瓜牛呱呱的博客 2835

Spark任务提交:Master URL配置全解析与实战指南

在分布式计算框架中,资源管理与任务调度是核心概念,其原理决定了应用程序如何在集群中高效执行。Spark作为主流的大数据处理引擎,通过Cluster Manager(集群管理器)来协调资源,而Master URL正是连接Driver与集群管理器的关键配置。理解其通信协议与格式,对于保障任务稳定运行、避免连接超时等常见错误至关重要。从本地开发测试到企业级生产环境,不同的Master URL(如local、spark://、yarn、k8s://)对应着不同的技术价值与应用场景,直接影响着资源利用率与部署灵活性。

weixin_30718391的博客 365

基于Hadoop+Spark+Kafka的信用卡欺诈实时检测系统架构与实践

大数据分析技术通过分布式计算框架处理海量数据,其核心原理是将数据分片并行处理以提高效率。在金融风控领域,实时数据处理技术能够快速识别异常交易模式,具有重要的业务价值。信用卡交易欺诈检测作为典型应用场景,需要结合批处理和实时流处理技术。本文介绍的分布式实时数据分析系统(DRDAS)采用Hadoop+SparkML+SparkStreaming+Kafka技术栈,通过动态采样K-Means并行算法实现高效的欺诈风险预警,为金融机构提供可靠的大数据分析解决方案。

weixin_30417487的博客 365

Spark-Shell 与 Spark-Submit:从交互式探索到生产部署的完整指南

本文详细解析了Spark-Shell与Spark-Submit的核心差异及适用场景,帮助开发者从交互式探索过渡到生产部署。通过实战案例和参数调优技巧,提升Spark作业的效率和稳定性,适用于大数据处理与分布式计算领域。

csdn785029689的博客 291

Docker-Spark与Hadoop集成:构建完整大数据处理流水线

Docker-Spark与Hadoop集成方案为大数据处理提供了便捷的部署方式,通过容器化技术快速搭建包含Apache Spark和Hadoop的完整数据处理环境。本文将详细介绍如何利用Docker实现Spark与Hadoop的无缝集成,帮助新手用户轻松构建高效的大数据处理流水线。 ## 📋 核心组件与版本信息 该项目基于SequenceIQ的Docker镜像构建,主要包含以下关键组件:

gitblog_00378的博客 341
上一篇: Delta Lake中CDC的实现
下一篇: 关于jvm范型和scala implicit隐式参数以及classTag[T] typeTag[T]的一点思考
鸿乃江边鸟
博客等级 码龄6年 3746粉丝 235原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值