基于 Prometheus、Grafana 的 EMQ X 物联网 MQTT 服务器可视化运维监控

EMQX+Prometheus+Grafana:MQTT 数据可视化监控实践 本文介绍了如何将EMQX 5.0的监控数据集成到Prometheus中,使用Grafana来展示EMQX的监控数据,并最终搭建出一个简单的MQTT数据可视化监控系统。 阅读详情

        Prometheus (https://prometheus.io/) 是由 SoundCloud 开源监控告警解决方案,支持多维数据模型 (https://prometheus.io/docs/concepts/data_model/)(时序由 metric 名字和 k/v 的 labels 构成),具备灵活的查询语句(PromQL)(https://prometheus.io/docs/querying/basics/) ,支持多种数据采集 exporters (https://prometheus.io/docs/instrumenting/exporters/);支持告警管理,基于指标实现告警监控;支持多种统计数据模型,图形化展示友好,图形展示除了内置的浏览器,也支持 Grafana 集成。

       EMQ X 提供 emqx_statsd (https://github.com/emqx/emqx-statsd) 插件,用于将 EMQ X 运行指标及 Erlang 虚拟机状态数据输出到第三方的监控系统如 Prometheus 中。通过 Prometheus 自带的 node-exporter 还可以采集 Linux 服务器相关指标,实现服务器 + EMQ X 整体运维监控。

       本文提供了 Prometheus + Grafana 整套 EMQ X 运维监控方案搭建过程。

 


  • 安装与准备


  •  Docker 镜像下载
# Docker 镜像包下载
docker pull prom/node-exporter
docker pull prom/prometheus
docker pull prom/pushgateway
  • 启动 node-exporter

可选,用于收集服务器指标如 CPU、内存、网络等,如果使用 Docker 安装则需要映射目标服务器响应的状态文件

docker run -d -p 9100:9100 \
  -v "/proc:/host/proc:ro" \
  -v "/sys:/host/sys:ro" \
  -v "/:/rootfs:ro" \
  --net="host" \
  prom/node-exporter
  • 启动 pushgateway

pushgateway 用于接收 EMQ X 指标推送数据,需要保证 EMQ X 能够访问:

docker run -d -p 9091:9091 prom/pushgateway
  • 启动 Prometheus

指定配置文件与监听端口以启动 Prometheus

# 指定配置文件并启动
docker run -p 9090:9090 \
-v $PWD/prometheus.yaml:/etc/prometheus/prometheus.yaml \
-d prom/prometheus \
--config.file=/etc/prometheus/prometheus.yaml

Prometheus 配置文件 prometheus.yaml 样例如下,详细含义请参考 Prometheus 文档:

# prometheus.yaml
global:
  scrape_interval:     10s # 默认抓取时间
  evaluation_interval: 10s # 每10秒评估一次rules
# 在本机上每一条时间序列上都会默认产生的,主要可以用于联合查询、远程存储、Alertmanager时使用。
  external_labels:
      monitor: 'emqx-monitor'
# 加载规则,依据 evaluation_interval 来定期评估rule
rule_files:
# - "first.rules"
# - "second.rules"
  - "/etc/prometheus/rules/*.rules"
# 数据拉取配置
scrape_configs:
# 表示在这个配置内的时间序例,每一条都会自动添加上这个{job_name:"prometheus"}的标签
  - job_name: 'prometheus'
    scrape_interval: 5s
    static_configs:
      - targets: ['127.0.0.1:9090']
# 服务器物理机监控
  - job_name: 'node-exporter'
    scrape_interval: 5s
    static_configs:
# node-exporter 根据实际情况填写
      - targets: ['192.168.6.11:9100']
        labels:
          instance: wivwiv-local
# EMQ X Pushgateway 监控
  - job_name: 'pushgateway'
    scrape_interval: 5s
    honor_labels: true
    static_configs:
# pushgateway 根据实际情况填写
      - targets: ['192.168.6.11:9091']
  • 启动 EMQ X statsd 插件

打开 etc/emqx_statsd.conf,确认以下配置:

## pushgateway 地址
statsd.push.gateway.server = http://127.0.0.1:9091
## 数据采集/推送周期(毫秒)
statsd.interval = 15000

启动插件:

./bin/emqx_ctl load plugins emqx_statsd

 


  • 效果查看 

通过 docker ps -a 命令查看组件是否成功运行,等待数个推送周期后,打开 http://localho

EMQX + Prometheus + Grafana:MQTT数据可视化监控实践于物联网 Grafana作为数据可视化工具,通过连接Prometheus数据源,创建仪表EMQX + Prometheus + Grafana: 实现物联网中MQTT数据的可视化监控实践。在物联网应用中,对设备和传感器生成的数据进行监控和可视化是非常重要的。EMQX是一个开源的MQTT消息服务器,Prometheus是一个开源的监控和警报系统,Grafana是一个开源的数据可视化工具。EMQX是一个开源的MQTT消息服务器,Prometheus是一个开源的监控和警报系统,Grafana是一个开源的数据可视化工具。 阅读详情

相关推荐

mqtt+emq+influxdb+grafana系统搭建傻瓜教程(一)

关于物联网监控系统,当前最流行的方法就是:emq+influxdb+grafna,其中EMQX负责采集终端设备数据, influxdb数据库负责存储数据,grafana负责读取数据,并以仪表盘形式进行监控报警。 网上也有很多学习的文章,可大部分都是残缺不全,没有一个系统性的介绍,看完后也是一知半解。此文可以说是网络上最全面的教程,非常详细讲解了整个系统的搭建步骤,每一步除了用文字介绍外,还用截图方式进行直观说明,真正的傻瓜式教程,开发者只需要逐步照做,即可完成整个系统的搭建 ———

逆水行舟 5147

【第三章 21】Java 实现 MQTT 抖动检测与智能告警系统:完整实战指南

本文介绍了一个基于Java的MQTT连接抖动检测与告警系统。该系统通过心跳检测机制和连接间隔统计,监控MQTT客户端与代理之间的连接状态,能够识别频繁断开重连的抖动现象。系统采用模块化设计,包含MQTT客户端、抖动检测器、数据收集器、时序数据库、告警引擎等核心组件,支持可视化数据展示和自动处理策略执行。文章详细阐述了系统架构设计、环境配置(使用Paho客户端、InfluxDB等技术栈)以及核心检测器的实现方案,为物联网系统提供了一套完整的连接稳定性监控解决方案。

ywl470812087的博客 16

【信息科学与工程学】【数据中心】 第十五篇 智算中心DaaS数据消费场景02

智算中心DaaS数据共享场景的分级分类是一个复杂的系统工程,需要从技术、安全、合规、治理、运营等多个维度进行综合考虑。本分级分类体系为不同场景下的数据共享提供了详细的指导,包括安全分级、共享模式、技术架构、合规治理等方面。在实施数据共享平台时,应结合自身业务需求、技术能力和资源情况,选择适合的共享模式和实施路径。同时,要高度重视数据安全和隐私保护,采用先进的技术和管理手段,确保数据共享的安全可控。

weixin_49199313的博客 1万+

【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04

编号学科(课程)核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421​云原生数据库:TiDB​HTAP(混合事务/分析处理)、分布式SQL、水平扩展、强一致(Raft)、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库;支撑高并发在线交易与实时分析教材:《TiDB in Action》PingCAP(2020) 论文:《TiDB: A Raft-based HTAP Database》(2017)

weixin_49199313的博客 418

mqtt-pushgateway:Prometheus Exporter,用于通过MQTT接收的指标

Prometheus Exporter,用于通过MQTT接收的指标 该导出器为MQTT提供了一个推送网关:您可以让它侦听一些有趣的MQTT主题,将数据收集到度量标准中,并等待被Prometheus抓取。 可以解析为JSON的消息将使用topic/key的“虚拟”主题记录每个key:value对的唯一指标。 注意:仅支持浮点值。 其他任何事情都将被忽略。 特征 主题可以与一组正则表达式匹配,以将其名称的一部分转换为Prometheus关键字。 因此,主题名称例如 sensor/garage/temperature 当使用正则表达式匹配时 sensor/(?P<sensor>\w+)/(?P<__metric__>\w+) 将作为度量导出到Prometheus temperature{mqtt_topic="sensor/garage/temperature",sensor_n

COMSOL仿真避坑指南:列管反应器模拟中多孔介质与化学反应设置的5个常见错误

本文详细解析了COMSOL仿真中列管反应器模拟的5个常见错误,包括多孔介质模型选择、化学反应接口配置、对流扩散方程处理、薄层热阻设置及网格独立性验证。特别针对多孔介质与化学反应设置的误区,提供了实用的判断标准和修正方法,帮助工程师避免计算偏差,提升仿真精度。

weixin_29597551的博客 325

西门子S7-200 SMART PLC高速计数器与增量式编码器实战配置指南

在工业自动化控制系统中,传感器是将物理量转换为电信号的关键组件,其中编码器作为核心的位置与速度检测元件,其工作原理基于光电或磁电效应,将机械位移转换为脉冲序列。增量式编码器通过输出相位差90度的A/B两相脉冲,不仅能实现精确的位移测量,还能通过相位关系自动判别运动方向,并通过倍频技术提升分辨率。其技术价值在于为PLC等控制器提供了实时、高精度的位置反馈,是实现闭环控制、提升系统精度与可靠性的基础。在包装机械、物料输送、绕线设备等应用场景中,编码器与PLC高速计数器的协同工作是实现精确定位、定长切割与速度控制

weixin_29178069的博客 401

从零开始STM32cubeide学习

使用的是正点原子的精英版,单片机是STM32F103ZET6,详细讲解完成跑马灯实验

weixin_44077208的博客 2285

旅行青蛙破解汉化教程——蹭个热度

汉化破解版资源(无尽三叶草与点券): https://github.com/wisdombyzf/lxqw/blob/master/lxqw_zf.apk 截图: 破解方法: 工具: 1,APKIDE https://www.pd521.com/thread-818-1-2.html 2,dnspy https://down.52pojie.

github_38838414的博客 3786

【电击防护篇】电击防护技术详解:从人体效应到接地系统全解析

本文系统讲解了电击防护的关键知识,包括电流对人体的影响(如30mA是心室颤动阈值)、人体电阻特性(700Ω-6100Ω)以及电气接触防护措施。重点分析了TT、TN和IT三大接地系统的结构特点与应用场景,强调TN-S系统最安全,IT系统供电连续性最佳。详细介绍了漏电保护器(RCD)的工作原理与选型指南,建议人身防护选用30mA高灵敏度RCD。文章通过对比表总结三大系统的安全性、成本及适用场景,为电气安全设计提供实用参考。

2301_81299416的博客 1750

2026 蓝牙技术趋势展望:信道探测、Auracast、高吞吐 HID 与 AI 融合引领行业变革

蓝牙技术2026年展望:信道探测、Auracast广播音频和AI融合将引领创新。蓝牙信道探测技术将实现亚米级精确定位,在工业资产追踪和汽车数字钥匙领域大显身手。Auracast广播音频将持续拓展公共场所应用,提升音频包容性体验。高数据吞吐量和超低延迟功能将支持AR/VR等新兴场景。AI与蓝牙的深度融合将推动可穿戴设备智能化发展,实现实时健康监测和个性化音频服务。蓝牙技术凭借其多功能性和创新力,正成为连接万物的关键技术,持续推动行业变革和生活品质提升。

专业开发者的博客,一个从事Android WiFi和蓝牙的工程师 114

Unreal5从入门到精通 专栏目录

欢迎来到“UE5从入门到精通”专栏!在这里,我们将带您踏上一段精彩的旅程,深入探索虚幻引擎5(Unreal Engine 5)的无限可能。不论您是游戏开发的新手,还是希望提升技能的开发者,这里都有适合您的内容。基础知识:了解虚幻引擎5的界面、功能和基本操作,为您的学习打下坚实的基础。项目实战:通过实际项目案例,帮助您从理论走向实践,真实体验游戏开发的每个环节。高级技巧:分享各种高级功能和技巧,包括蓝图、C++编程、材质编辑、光照和渲染等,让您能够创作出更具专业水准的作品。

TxNet 2994

从 SAP GUI 走向 SAP Fiori:一套面向 SAP S/4HANA 的用户迁移实战方法论

SAP S/4HANA转型中,用户从SAP GUI迁移到Fiori的难点在于业务价值的重构而非简单的界面替换。Fiori的核心价值在于角色化、实时洞察和智能决策,而非完全替代GUI。成功迁移需分阶段推进:先展示关键角色的价值,建立统一入口,再逐步提高Fiori占比。让用户参与设计比后期培训更重要,需通过具体场景(如采购优先级管理)展示效率提升。迁移策略应平衡新旧界面优势,让Fiori成为业务价值触达的主要方式,而非强制替换。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 236

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

下一篇: MQTT和Kafka的区别和联系
TechBroker
博客等级 码龄6年 1粉丝 2原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值