使用jmxtrans监控Spark JVM信息到grafana显示

原创

于 2017-12-27 18:55:08 发布 · 2.9k 阅读

CC 4.0 BY-SA版权

本文介绍了如何使用jmxtrans作为代理来收集Spark JVM的监控数据，并将其发送到Grafana进行展示。步骤包括下载jmxtrans，配置json格式的配置文件，修改Spark的JMX端口设置，启动jmxtrans，以及在Grafana中配置数据展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

####1、下载jmxtrans
jmxtrans作为agent部署在需要采集数据的节点上，主要用于数据采集和发送.

####2、修改{jmxtrans}/conf下配置文件
配置文件内容需要json格式，名字可自取。

{
  "servers" : [
{   
    "port" : "8085",                                         // 采集jmx进程的通信端口
    "host" : "10.88.61.73",                              // 表示采集数据所在host IP
    "queries" : [ {
      "obj" : "java.lang:type=MemoryPool,name=CMS Old Gen",     // 这里的obj是监控的bean对象，填写格式依据Jconsole所示
      "attr" : [ "Usage" ],
      "resultAlias":"jmxDB_sparkTS_CMS_Old_datapm",         // 数据存储的表别名，后面通过这个表名查到对应数据
      "outputWriters" : [ {
        "@class" : "com.googlecode.jmxtrans.model.output.InfluxDbWriterFactory",
        "url" : "http://10.88.60.141:8086/",              // 表示grafana服务host地址
        "username" : "admin",
        "password" : "admin",
        "database" : "jmxDB",
        "tags"     : {"application" : "SparkTS"}