prometheus jmx-exporter 暴漏HTTP服务端口无法获取监控数据

最新推荐文章于 2024-09-23 09:15:39 发布
最新推荐文章于 2024-09-23 09:15:39 发布
阅读量894 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Java Java 问题记录 Prometheus 文章标签： prometheus java sentinel-system prometheus-http jmx-exporter
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/dejunyang/article/details/129777178
文章描述了一个通过-javaagent方式使用的jmx_prometheus_javaagent-0.15.0.jar在OpenJDK1.8.0_242上遇到的问题，表现为无法获取监控数据，原因是CPU占用过高，由一个死循环引起。分析发现该问题可能与JDK的NativeMethod相关，且在JDKbug库中找到类似问题。解决方案包括重启应用和升级JDK到11.0.8以上版本。同时，文中还提及Sentinel组件存在相同问题，提供了相应的解决策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 问题描述

  通过 -javaagent 方式挂载的 jmx_prometheus_javaagent-0.15.0.jar 代理包对接prometheus监控，通过暴露的HTTP服务端口无法获取监控数据。

OpenJDK：1.8.0_242-b08
jmx_prometheus_javaagent：0.15.0

2. 问题分析

  1. netstat 查看服务端口状态，发现存在大量的 CLOSE_WAIT状态的连接；
    在这里插入图片描述
  2. 通过 top 命令发现应用进程比正常情况下占用高；
  3. 通过 top -o +%CPU -Hp {PID} 查看进程线程信息，发现 prometheus-http 线程 CPU占用 99%；
  4. printf ‘%x\n’ {PID} 将十进制线程ID转换为十六进制，注意此PID为第3步占用CPU高的线程ID；
  5. jstack -l {PID} > jstack.txt，注意此 PID 为Java进程ID；
  6. 打开 jstack.txt，搜索第4步中得到的十六进制的线程ID；
    在这里插入图片描述
    此线程名称为 prometheus-http-1-4 的守护线程(daemon)，状态为 RUNNABLE，正在执行 sun.management.OperatingSystemImpl.getSystemCpuLoad(Native Method) 获取系统CPU负载信息，
  7. 查看JDK源码，发现当 fgetc(f) != ‘\n’ 时就会进入死循环状态，我们知道死循环会导致CPU过高，这可能就是无法获取监控数据的元凶
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  8. 在JDK bug库中碰碰运气，看有没有类似bug，看看是否在哪个JDK 版本已经修复
    https://github.com/openjdk/jdk/pull/4378
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    https://bugs.openjdk.org/browse/JDK-8268361
    在这里插入图片描述
    https://bugs.java.com/bugdatabase/view_bug?bug_id=8268361
    在这里插入图片描述

3. 解决方法

临时解决方法：重启应用
永久解决方法：升级JDK版本到 11.0.8 或更高版本

4. 其它

在排查问题的过程中发现 sentinel-system 组件存在同样的问题。
https://github.com/alibaba/Sentinel/issues/2885
https://github.com/alibaba/Sentinel/issues/1206

解决方法1：把获取CPU负载信息的插槽去掉
解决方法2：升级JDK版本到11.0.8或更高版本

使用jmx_exporter监控Kafka
跟着大数据和AI去旅行
11-21 1377
JMX-Exporter 是 Prometheus 社区提供的一个工具，用来把 JMX 暴露的监控指标数据转换为 Prometheus 可识别的格式。JMX-Exporter 通过 HTTP 服务的方式暴露监控指标数据，Prometheus 通过 HTTP 协议来拉取监控指标数据。启动独立进程。
【云原生】prometheus结合jmx exporter 的http server模式采集tomcat监控实战
低调，谦虚，自律，反思，成长，保持热爱，奔赴梦想
03-13 5102
【云原生】prometheus结合jmx exporter 的http server模式采集tomcat监控实战
jmx_prometheus_httpserver 监控 Kafka 应用
gao454917848的专栏
03-31 3000
通过在 Kafka 应用中埋点来暴露应用的数据，使用 Prometheus 监控抓取数据，并借助 Grafana 大盘来展示数据，即可实现通过 Prometheus 监控 Kafka 应用的目的。 步骤一：启动 JMX 服务 首先需要在 Kafka 应用中启用 JMX 服务以获取资源信息。 修改/opt/kafka/kafka_2.11-0.8.2.1/bin/kafka-serv...
普罗米修斯采集不到数据问题
smile4054的专栏
07-02 1295
原因是普罗米修斯服务器时间不同步或者长时间未开机，数据库数据太旧造成，需要同步相关服务器时间，删除普罗米修斯服务器数据即可。本文的数据库位置在/var/lib/prometheus。
prometheus整合JMX_exporter
u013218342的博客
08-23 1567
prometheus整合jmx
Docker启动Prometheus后，使用Node_Exporter搜集被监控机的数据，修改Prometheus.yml后，获取不到数据
weixin_42963678的博客
03-16 1402
在被监控机上安装Node_Exporter后，配置监控机上的Prometheus.yml 内容如下： - job_name: 'node_exporter' static_configs: - targets: ['ip:9100'] 配置完毕后，重新加载配置文件 可以使用该命令，PID为Prometheus的进程ID $ kill HUP PID 【PID如何获得？ $ ps -ef | grep prometheus $ docker top CONTAINERID #CONTAINERID
prometheus涉及pprof go信息泄露漏洞整改
abin的博客
09-06 7806
本文记录一下对系统渗透测试后反馈Prometheus涉及pprof go信息泄露，验证方法为http://ip:port/debug/pprof
jmx_exporter：一个通过HTTP公开JMX Bean以供Prometheus使用的过程
02-03
JMX到Prometheus导出器：一个收集器，该收集器可以可配置地抓取和公开JMX目标的mBean。 该导出程序旨在作为Java代理运行，公开HTTP服务器并提供本地JVM的度量。 它也可以作为独立的HTTP服务器运行，并刮擦远程JMX...
Prometheus 监控 Java 应用 JMX Exporter
cnzzs的博客
07-23 2270
操作场景Prometheus 社区开发了 JMX Exporter 用于导出 JVM 的监控指标，以便使用 Prometheus 来采集监控数据。当您的 Java 业务容器化至 Kubernetes 后，可通过本文了解如何使用 Prometheus 与 JMX Exporter 来监控 Java 应用。JMX Export...
jmx-exporter-loader
05-17
JMX导出程序加载器 该应用程序将代理加载到正在运行的Java进程中。 实现时，只能在JVM启动时将其加载到Java进程中。 只需进行很小的更改，就可以将其加载到已经运行的Java进程中。 您可以看看我们的中的更改 加载...
prometheus jmx
07-11
使用prometheus 的 jmxexport 监控tomcat文档 。
prometheus_snyk_exporter：从snyk.io收集安全漏洞指标以用于Prometheus监视
01-30
prometheus_snyk_exporter 通过可观察性确保安全！ 该项目将监视项目与安全服务集成在一起。 ，收集有关组织漏洞的汇总信息，并将其公开为普罗米修斯指标。 动机 Snyk服务提供的仪表板已经提供了项目安全漏洞的当前状态的视图。 Snyk还提供了一种企业产品，该产品能够跟踪一段时间内的漏洞数量。 对于许多用户来说，这可能就足够了。 在DNAnexus，我们正在建立可观察性的文化，我们希望此信息可用于我们的内部监控系统。 这样，我们不仅可以跟踪一段时间内的安全漏洞，还可以使用Prometheus设置自己的自定义警报和内部 。 格拉法纳仪表板 提供了Grafana仪表板，以便您可以随时间可视化snyk漏洞（请参阅项目根目录中的json文件。）以下是使用虚拟生成数据的仪表板示例： 先决条件 snyk.io帐户。 对于开源项目和扫描量较小的私人项目，它是免费的。 要更频繁地扫描私人项目，可以使用付费计划。 snyk API令牌。 在您的上获取它。 入门 节点JS 注意：需要节点> 7.6才能支持异步/等待。 git clone git@github.com:dna
jmx_prometheus_javaagent-0.12.0.jar
04-03
代理Java包，用于生成JVM的健康的数据，jmx_prometheus_javaagent-0.12.0.jar
一次Prometheus采集器内存占用过高（内存泄漏）问题排查及解决
SYN_ACK的博客
08-04 2240
我参与的一个项目使用了腾讯的云存储组件CSP。我们需要利用Proemtheus Exporter对改组件进行监控。由于没有找到相关的采集器，我们团队自己开发了一款CSP Exporter。该采集器由我所在团队的一位大佬开发出了初版。采集器上线两个月后，用户反馈该采集器占用了大量的系统内存，重启后该问题消失。此时该大佬已经离职另谋高就，排查该问题的任务落到了我的头上。经过一周的不懈努力，最终定位到并解决了该问题，以下是排查及解决的过程。
PROMETHEUS安全漏洞分析
yua7190的博客
09-06 9490
Prometheus是一套开源的监控、告警、时间序列数据库的组合工具。与Kubernetes由Google内部Borg系统演变而来相似，Prometheus由Google内部的Borgmon[6]监控系统演变而来，最初在2012年由前Google工程师Matt T. Proud于SoundCloud[5]进行研发使用并在短时间内迅速受到业界广泛认可,后于2015年初在GitHub上开源，目前已有42.2K的Star数和7.1的Fork数。
Http接口请求耗时、返回码、QPS监控
最新发布
小鹏linux的博客
09-23 1233
REQUEST_TIME：记录HTTP请求的耗时。 REQUEST_COUNT：记录每个状态码的请求总数。 QPS：记录每秒请求数。 start_http_server(8002)：启动HTTP服务器，在8002端口暴露Prometheus的 /metrics 接口。 track_metrics()：在一个循环中持续发送HTTP请求，记录指标。
kubernetes-解决prometheus从错误的端口获取指标
kozazyh的专栏
10-10 2693
版本：prometheus 2.2.1 1. 增加kubernetes pod 自动发现配置： - job_name: 'kubernetes-pods' kubernetes_sd_configs: - role: pod relabel_configs: - source_labels: [__meta_kubernete...
Prometheus之jmx_prometheus_javaagent监控java应用
weixin_60092693的博客
01-13 2487
个人测试
【Prometheus】Grafana 无数据显示的问题
m0_55928215的博客
03-08 8946
①Prometheus 监控各个节点对时间要求严格，在部署服务之前务必将所有被监控机器（agent）与Prometheus服务端，Grafana web端（这两个部署在一台服务器）的时间进行同步。②用户登录Grafana，用来查看的机器，时间也要同步，不然Grafana登录进去后，会看到no data to show!
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值