jmx采集方式

最新推荐文章于 2025-05-16 14:54:06 发布
最新推荐文章于 2025-05-16 14:54:06 发布
阅读量1k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43478840/article/details/86614632
本文介绍了如何利用JMX（Java Management Extensions）在Zabbix中进行监控。实验环境涉及Zabbix Server和Agent，通过安装和配置Zabbix Java Gateway，实现对Java应用的监控，特别是中间件如Tomcat的管理。文章讲解了JMX的基本概念，以及其在程序管理和配置动态化方面的作用，并提供了安装和配置JMX以及Zabbix Java Gateway的步骤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

jmx采集方式
实验环境为server4为zabbix-server ，server5为zabbix-agent，此时两台虚拟机上以及配置好了zabbix服务
一、JMX的定义

JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务，实际上，用户可以在任何Java应用程序中使用这些代理和服务实现管理。这是官方文档上的定义，我看过很多次也无法很好的理解。我个人的理解是JMX让程序有被管理的功能，例如你开发一个WEB网站，它是在24小时不间断运行，那么你肯定会对网站进行监控，如每天的UV、PV是多少；又或者在业务高峰的期间，你想对接口进行限流，就必须去修改接口并发的配置值。

应用场景：中间件软件WebLogic的管理页面就是基于JMX开发的，而JBoss则整个系统都基于JMX构架。

对于一些参数的修改，网上有一段描述还是比较形象的：

1、程序初哥一般是写死在程序中，到要改变的时候就去修改代码，然后重新编译发布。

2、程序熟手则配置在文件中（JAVA一般都是properties文件），到要改变的时候只要修改配置文件，但还是必须重启系统，以便读取配置文件里最新的值。

3、程序好手则会写一段代码，把配置值缓存起来，系统在获取的时候，先看看配置文件有没有改动，如有改动则重新从配置里读取，否则从缓存里读取。

4、程序高手则懂得物为我所用，用JMX把需要配置的属性集中在一个类中，然后写一个MBean，再进行相关配置。另外JMX还提供了一个工具页，以方便我们对参数值进行修改。
二、JMX架构图：

在这里插入图片描述

[root@server4 3.4]# yum install zabbix-java-gateway-3.4.6-1.el7.x86_64.rpm -y ##安装软件包##
[root@server4 3.4]# cd /etc/zab

最低0.47元/天 解锁文章

200万优质内容无限畅学
李老师666
关注
Debezium系列之：大规模应用debezium server采集数据库，从每个Debezium Server中导出JMX采集指标
zhengzaifeidelushang的博客
09-09 506
至此成功导出了debezium server采集的jmx指标目前已经可以考虑大规模应用debezium server技术了下一阶段将详细的总结如何在K8s上大规模应用Debezium Server Operator。
使用jmx exporter采集kafka指标
「 虚幻私塾」
11-03 792
并在prometheus的配置文件中添加consumer target，reload prometheus 配置即可发现consumer的指标，producer的指标采集与consumer类似。注：由于不同的配置Jmx exporter生成的kafka指标名称是不一样的，因此并没有统一的kafka grafana dashboard，最好还是自己绘制。Jmx exporter中包含了kafka各个组件的。的格式不同，因此需要特定的重命名配置，可以将其追加到。启用的方式比较简单，只需要在。
基于JMX采集WebSphere 服务与指标信息
u010519674的专栏
12-01 1578
基于jmx 的方式采集websphere
prometheus采集服务的jmx数据，grafana通过dashboard展示jmx数据
zhengzaifeidelushang的博客
07-12 2289
prometheus采集服务的jmx数据，grafana通过dashboard展示jmx数据
深入理解JMX：Java应用监控与管理的核心工具
m0_46427956的博客
05-16 1065
JMX是Java SE的标准组成部分，自Java 5开始正式集成。它通过MBean（管理Bean）机制暴露应用程序的内部状态和操作接口，支持本地或远程管理，是Java生态中应用最广泛的管理框架。随着云原生和容器化技术的发展，JMX正在与新一代监控体系融合。Java 14引入的exporter，让传统JMX监控可以无缝接入云原生监控体系。掌握JMX的核心原理，仍然是Java开发者构建可观测性系统的基石。附录：常用JMX操作命令# 列出所有MBean# 获取属性值# 触发操作。
Springboot定时采集Hadoop的JMX信息，定制化监控
热门推荐
浅汐
06-10 7万+
背景： Haddop自身会定时将元数据信息保存起来，通过WebUI的方式进行展现，例如：blocks、files......，通过WebUI的方式显然是不方便随时进行查看，并且对其进行监控，所以我们要对这些关键的元数据指标进行采集、存储，然后封装成服务，进行定制化监控。 实现： http://localhost:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem 创建Springboot项目，并添加几个依赖： <
基于jmx的flume的指标采集展示
zxl1033394132的专栏
05-28 664
基于jmx的flume的指标采集展示最近参与一个项目，需求：采集flume指标并通过可视化页面显示。 最近参与一个项目，需求：采集flume指标并通过可视化页面显示。 flume基于java编写，可以通过配置jmx端口，启用jmx端口，通过jmxtrant采集指标，并写入influxdb，进而通过grafana进行展示。所以本文对这一部分做一个简单介绍。 1.启用jmx步骤：在flume的启动脚本中加入如下内容(同理：其他服务开启jmx端口，也可通过如下方式进行配置),然后启动agent: -Dcom.su
强大的JMX数据采集与转换工具：jmxtrans
gitblog_00276的博客
09-28 576
强大的JMX数据采集与转换工具：jmxtrans 项目介绍 jmxtrans 是一个开源的JMX（Java Management Extensions）数据采集与转换工具，旨在帮助开发者轻松地将JVM的监控数据导出到各种监控、日志和图表系统中。通过简单的JSON或YAML配置文件，jmxtrans能够高效地从JVM中提取数据，并将其转换为多种格式，如Graphite、StatsD、Ganglia、...
【Yarn】通过JMX采集yarn相关指标的Flink任务核心逻辑
有文档被优快云自动升级成了VIP免费，需要调整的可以私信
12-31 1712
输出Kafka:huatuo_yarn_jmx_queue_metric。输出Kafka:huatuo_yarn_jmx_rm_metric。构建查询Active的RM中的核心指标Model。jmx中完整的bean中的name.key的值。一次性请求所有配置的指标。构造输出对象json。
zabbix proxy: 安装 / ZBX数据采集 / JMX数据采集
滴水穿石浅谈
08-15 603
Zabbix proxy: 是一个数据收集器,它不计算触发器、不处理事件、不发送报警。为IT基础设施提供有效和可用的分布式监控,代替Zabbix Server采集数据，然后将数据报告给服务器zabbix server,从而分担Zabbix Server负载的进程 zabbix proxy 使用场景: 监控远程区域设备 监控本地网络不稳定区域 简化分布式监控的维护 当 zab...
JMX exporter采集kafka监控指标
拉丁解牛技术专栏
11-30 8156
配置kafka        JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999"，指定9999端口暴露出来供采集。像配置kafka-manager采集，也是要做这个事情的。 下载jmx_exporter       链接 https://github.com/prometheus/jmx_exporter, 将文件...
jmx三种访问方式
12-18
Jmx简单应用，http页面方式，vm参数方式，rmi方式
JMX实用例子详解（包括各种Mbean）
12-01
JMX是指Java管理扩展，通过jmx可以监控java应用服务器的各项性能指标，jvm的性能指标等
基于jmx_api采集jvm遇到坑
ronon77的专栏
10-24 664
        it里本没有坑，一不小心掉进去了，坑就出来了。这次是由于自已的不懂，才掉进去了。         在测试环境和线上一样的配置，却出现有的数据采集不到情况，请看下图   我采用的架构方式是：zabbix3.0+java_gateway_jmx。开始填坑debug之旅行。   1.最开始以为是配置的key出错，一一核对，两个环境的配置都一样的。排除   2.debug zab...
Java之JMX
xiangbq的博客
12-22 754
http://www.cnblogs.com/itech/archive/2010/09/16/1827999.html  [动态修改程序的配置的思想值得学习!]    一、JMX简介 　　JMX是一种JAVA的正式规范，它主要目的是让程序有被管理的功能，那么怎么理解所谓的“被管理”呢？试想你开发了一个软件（如ＷＥＢ网站），它是在２４小时不间断运行的，那么你
linux 测试jmx端口,中间件数据采集，解决jmx随机端口问题[Linux]
weixin_33781072的博客
05-08 822
注意：查看java环境变量，若java环境变量未设置，请填写java的绝对路径1、配置jmx，开启12345端口，另一笔记有存档2、配置key或者上传jmx.conf3、上传cmdline-jmxclient-0.10.3.jar到/usr/local/zabbix/bin目录4、上传gc_info.py和mpool_info.py到/usr/local/zabbix/scripts目录(目前可以...
使用JMX监控Tomcat
junehappylove（王俊伟）的专栏
10-26 6129
一、激活Tomcat的JMX远程配置 要通过JMX远程监控Tomcat，首先需要激活Tomcat的JMX远程配置。 ① 先修改Tomcat的启动脚本，windows下为bin/catalina.bat（linux下为catalina.sh），添加以下内容，8181 是jmxremote使用的端口号，第二个false表示不需要鉴权： {优快云:CODE:19507
Java之JMX获取应用进程CPU/内存使用率，监控GC回收
liuqi199707的博客
12-22 2871
Java之JMX获取应用进程CPU/内存使用率，监控GC回收
JMX获取tomcat监控信息
varyall的专栏
04-10 984
最近用JAVA写了个获取tomcat信息资源的代码，随便保存一下。 大致的步骤全在这了，可以获取到任何想要的指标： 首先可以用JDK提供的工具jconsole来供我们查看，这个在服务端配置下catalina.bat文件，加入以下内容： Linux下要监控的java进程需要配置参数： -Djava.rmi.server.hostname=192.168.1.126 # Lin...
通过JMX暴露Spark Metrics，使用Prometheus JMX Exporter采集数据
最新发布
07-18
<think>我们正在处理一个关于如何配置Prometheus通过JMX Exporter采集Spark的JMX指标的问题。根据引用内容，我们知道JMX Exporter可以将JVM应用的JMX数据转换为Prometheus可识别的格式。具体到Spark，由于Spark运行在JVM上，它可以通过JMX暴露指标，然后由JMX Exporter抓取。 步骤概述： 1. 确保Spark启用了JMX（通常需要配置Spark的JMX参数）。 2. 下载JMX Exporter的jar包。 3. 编写JMX Exporter的配置文件，定义要采集的指标和规则。 4. 在启动Spark时通过Java Agent方式加载JMX Exporter。 5. 配置Prometheus抓取JMX Exporter暴露的指标。 详细步骤： 1. **启用Spark的JMX**： Spark默认可能不会暴露所有需要的JMX指标，因此需要在启动Spark时设置JMX相关的系统属性。通常，我们可以通过设置环境变量`SPARK_DAEMON_JAVA_OPTS`或`SPARK_SUBMIT_OPTS`来添加JMX参数。 例如，在`spark-env.sh`中设置： ```bash export SPARK_DAEMON_JAVA_OPTS="-Dcom.sun.management.jmxremote \ -Dcom.sun.management.jmxremote.port=9010 \ -Dcom.sun.management.jmxremote.local.only=false \ -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.ssl=false" ``` 注意：这里我们设置了JMX的端口为9010，并且禁用了认证和SSL，仅用于示例。在生产环境中请根据安全要求配置。 但是，请注意，我们这里实际上并不需要远程JMX，因为JMX Exporter是通过Java Agent方式在同一个JVM内运行的。因此，上述配置可能不是必须的。实际上，我们只需要确保Spark的指标通过JMX MBean服务器暴露出来，然后由JMX Exporter在本地读取。 2. **下载JMX Exporter**： 从Maven仓库下载[jmx_prometheus_javaagent](https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/)的jar包，例如`jmx_prometheus_javaagent-0.20.0.jar`。 3. **编写JMX Exporter配置文件**： 创建一个配置文件（例如`spark-jmx-config.yaml`），定义要采集的指标。由于Spark暴露的JMX指标很多，我们可以选择只采集部分指标，或者使用一个通用的配置来采集所有指标。 示例配置文件（`spark-jmx-config.yaml`）： ```yaml lowercaseOutputName: true rules: # 采集所有指标 - pattern: ".*" ``` 更详细的配置可以参考JMX Exporter的示例配置，或者针对Spark的特定指标进行配置。例如，我们可以采集与Spark应用程序、执行器、存储等相关的指标。 4. **启动Spark时加载JMX Exporter**： 在启动Spark时，通过Java Agent参数加载JMX Exporter的jar包，并指定配置文件和暴露的HTTP端口（供Prometheus抓取）。 在`spark-env.sh`中，添加如下配置： ```bash export SPARK_DAEMON_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS -javaagent:/path/to/jmx_prometheus_javaagent-0.20.0.jar=7071:/path/to/spark-jmx-config.yaml" ``` 这里，`7071`是JMX Exporter暴露指标的HTTP端口，可以自定义。注意，如果同时启动了多个Spark进程（如Master和Worker），需要确保端口不冲突。 对于Spark应用程序（通过spark-submit提交），可以在提交命令中添加`--conf "spark.driver.extraJavaOptions=-javaagent:/path/to/jmx_prometheus_javaagent-0.20.0.jar=7071:/path/to/spark-jmx-config.yaml"`，以及`--conf "spark.executor.extraJavaOptions=-javaagent:/path/to/jmx_prometheus_javaagent-0.20.0.jar=7072:/path/to/spark-jmx-config.yaml"`。注意，每个Executor需要不同的端口，因此可能需要动态分配端口或者使用相同的端口但绑定到不同的主机（localhost在每台机器上独立）。但是，在分布式环境中，更常见的做法是在每个节点上运行一个Node Exporter和JMX Exporter，并让Prometheus从每个节点抓取。 5. **配置Prometheus抓取**： 在Prometheus的配置文件`prometheus.yml`中添加抓取任务，指向Spark节点上运行的JMX Exporter的HTTP端口。 示例配置： ```yaml scrape_configs: - job_name: 'spark' static_configs: - targets: ['spark-master:7071', 'spark-worker-1:7071', 'spark-worker-2:7071'] ``` 如果是在每个Executor上运行，则需要配置更多的目标，或者使用服务发现。 注意：在分布式环境中，Spark的Driver和每个Executor都是独立的JVM进程，因此都需要加载JMX Exporter。对于Driver，可以在提交应用时通过`--driver-java-options`添加Java Agent；对于Executor，可以通过`--conf spark.executor.extraJavaOptions`添加。但是，由于Executor可能分布在不同的节点上，需要确保每个节点上都有JMX Exporter的jar包和配置文件，并且端口配置要避免冲突（可以使用0让系统自动分配端口，但这样就需要服务发现来动态获取端口）。 另一种常见做法是使用Prometheus的[Kubernetes服务发现](https://prometheus.io/docs/prometheus/latest/configuration/configuration/#kubernetes_sd_config)（如果运行在Kubernetes上）或者使用[文件服务发现](https://prometheus.io/docs/prometheus/latest/configuration/configuration/#file_sd_config)来动态管理目标。 由于配置可能因环境而异，以上提供的是基本思路。 引用说明： 根据引用[1]：JMX Exporter利用Java的JMX机制来读取JVM运行时的一些监控数据，然后将其转换为Prometheus所认知的metrics格式[^1]。 根据引用[2]：通过Prometheus + JMX Exporter集成HikariCP JMX数据实现监控。如果你启用了register-mbeans=true，HikariCP的连接池状态会暴露到JMX中。为了将这些JMX指标纳入Prometheus和Grafana的监控，你需要用JMX Exporter将JMX数据转换为Prometheus指标[^2]。虽然这是针对HikariCP的，但同样适用于Spark。 因此，我们按照类似的方法配置Spark。 相关问题： 1. 如何验证JMX Exporter是否成功采集了Spark的指标？ 2. 在分布式Spark集群中，如何高效地配置所有Executor的JMX Exporter？ 3. 如何为Spark的JMX指标配置Grafana仪表板？</think>### 配置 Prometheus 通过 JMX Exporter 采集 Spark JMX 指标 #### 1. **启用 Spark 的 JMX 指标暴露** - 在 Spark 配置文件（如 `spark-defaults.conf`）中添加以下参数： ```properties spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=18080 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false spark.executor.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=18081 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false ``` - 端口 `18080`（Driver）和 `18081`（Executor）可自定义，需确保防火墙开放。 - **安全提示**：生产环境需启用认证（`authenticate=true`）和 SSL[^1]。 #### 2. **配置 JMX Exporter** - **下载 JMX Exporter**： ```bash wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.20.0/jmx_prometheus_javaagent-0.20.0.jar ``` - **创建配置文件**（如 `spark-jmx-config.yaml`）： ```yaml lowercaseOutputName: true rules: - pattern: ".*" # 采集所有 JMX 指标，可按需调整 ``` #### 3. **启动 Spark 时加载 JMX Exporter** - 修改 Spark 启动命令，添加 Java Agent 参数： ```bash spark-submit \ --conf "spark.driver.extraJavaOptions=-javaagent:/path/to/jmx_prometheus_javaagent-0.20.0.jar=7070:/path/to/spark-jmx-config.yaml" \ --conf "spark.executor.extraJavaOptions=-javaagent:/path/to/jmx_prometheus_javaagent-0.20.0.jar=7071:/path/to/spark-jmx-config.yaml" \ # 其他参数... ``` - `7070`/`7071` 是 JMX Exporter 的 HTTP 服务端口（供 Prometheus 抓取）。 - 确保所有节点均存在 JAR 和配置文件。 #### 4. **配置 Prometheus 抓取指标** - 在 `prometheus.yml` 中添加作业： ```yaml scrape_configs: - job_name: "spark_jmx" static_configs: - targets: - "driver-host:7070" # Driver 节点 - "executor-host1:7071" # Executor 节点 1 - "executor-host2:7071" # Executor 节点 2 metrics_path: /metrics # JMX Exporter 默认路径 ``` - 重启 Prometheus 服务： ```bash systemctl restart prometheus ``` #### 5. **验证配置** - 访问 `http://driver-host:7070/metrics`，确认是否返回 Spark JMX 指标。 - 在 Prometheus Web 界面（`http://prometheus-host:9090/targets`）检查 `spark_jmx` 作业状态是否为 **UP**。 #### 关键注意事项 - **端口冲突**：确保 Driver/Executor 的 JMX 端口和 Exporter HTTP 端口不冲突。 - **配置文件分发**：若使用动态 Executor（如 YARN/K8s），需预先分发 JAR 和配置文件到集群镜像或共享存储。 - **指标过滤**：通过 `rules` 优化配置文件，避免采集过多无用指标[^2][^3]。 --- ### 相关问题 1. **如何监控 Spark on Kubernetes 的 JMX 指标？** （需结合 ServiceMonitor 和 Prometheus Operator 配置） 2. **如何优化 JMX Exporter 配置以减少指标数量？** （例如：通过 `pattern` 规则选择性采集关键指标） 3. **Prometheus 采集到 Spark JMX 数据后，如何设计 Grafana 监控看板？** （需结合常用指标如 `jvm_memory_bytes_used`、`jvm_threads_current` 等） [^1]: JMX Exporter 利用 Java 的 JMX 机制读取 JVM 运行时监控数据，并转换为 Prometheus 格式。 [^2]: 通过 Prometheus + JMX Exporter 集成 JMX 数据实现监控。 [^3]: 使用 `jmx_prometheus_javaagent` 监控 JVM 应用（如 Kafka/Spark）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值