Spark的测量系统MetricsSystem

最新推荐文章于 2022-12-12 23:19:40 发布

九师兄

最新推荐文章于 2022-12-12 23:19:40 发布

阅读量3.2k

点赞数

分类专栏：大数据-spark 文章标签： spark Metrics System 监测系统源代码

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/78659478

版权

大数据-spark 专栏收录该内容

204 篇文章 ¥49.90 ¥99.00

订阅专栏

本文介绍了Spark的MetricsSystem，它是衡量系统性能的关键组件。MetricsSystem包含Source、Sink和MetricRegistry，用于收集和展示JVM信息，如GC和内存使用。配置MetricsSystem可以通过metrics.properties文件或SparkConf，而默认的Sink是MetricsServlet。要创建自定义Source，需要实现MetricSet接口，并在MetricRegistry中注册。MetricsSystem在SparkEnv初始化时启动，通过registerSources和registerSinks进行Source和Sink的注册。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.美图

在这里插入图片描述

2.MetricsSystem介绍

监控是一个大系统完成后最重要的一部分。MetricsSystem 比较好理解，一般是为了衡量系统的各种指标的度量系统。算是一个key-value形态的东西。举个比较简单的例子，我怎么把当前JVM相关信息展示出去呢？做法自然很多，通过MetricsSystem就可以做的更标准化些，具体方式如下：

Source 。数据来源。比如对应的有org.apache.spark.metrics.source.JvmSource
Sink。数据发送到哪去。有被动和主动。一般主动的是通过定时器来完成输出，譬如CSVSink，被动的如MetricsServlet等需要被用户主动调用。
桥接Source 和Sink的则是MetricRegistry了。

Spark 并没有实现底层Metrics的功能，而是使用了一个第三方库：http://metrics.codahale.com 。感兴趣大家可以看看，有个更完整的认识。

3。如何配置MetricsSystem

MetricsSystem的配置有两种，第一种是 metrics.properti

了解本专栏