【prometheus+Grafana篇】基于Prometheus+Grafana实现MongoDB数据库的监控与可视化

💫《博主主页》:

           🔎 优快云主页__奈斯DB

           🔎 IF Club社区主页__奈斯、

🔥《擅长领域》:擅长阿里云AnalyticDB for MySQL(分布式数据仓库)、Oracle、MySQL、Linux、prometheus监控;并对SQLserver、NoSQL(MongoDB)有了解

💖如果觉得文章对你有所帮助,欢迎点赞收藏加关注💖

    端午佳节刚过,又是新的一周,需要收收心投入到新的工作中去。那么这篇继续分享关于 Prometheus+Grafana 的文章,通过 Prometheus 采集 MongoDB数据库 的关键指标,再搭配 Grafana 强大的可视化能力🖥️✨,轻松打造一套高效的数据库监控系统。博主还会分享一些 常见的 MongoDB告警配置🚨,帮助大家实时掌握数据库状态,提前发现潜在问题,避免线上故障! 话不多说,让我们直接进入正题吧!👇

               

 特别说明💥:

📌 开源仪表盘引用

  • 本文采用的MongoDB数据库监控仪表盘直接使用了Grafana官网开源项目(Dashboard ID: 16974),非常感谢原作者(heian)的无私分享。关于Grafana的所有配置步骤均基于该开源仪表盘并验证通过,各位可一键导入快速搭建专业级的可视化监控。

                                          

⚡ 原创告警规则实现

  • 关于告警部分为博主独立开发完成,针对MongoDB数据库实现了如下告警:

    • ✅ MongoDB 实例不可用

    • ✅ MongoDB 复制延迟超限

    • ✅ MongoDB 会话使用率过高

                                  

🔗 Prometheus+Grafana监控MongoDB全流程

                                         

                                                                

prometheus+Grafana全系列文章(实时更新 🔥 ):

序号文章
1【prometheus+Grafana篇】Prometheus与Grafana:深入了解监控架构与数据可视化分析平台-优快云博客
2【prometheus+Grafana篇】从零开始:Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter_grafana二进制部署-优快云博客
3【prometheus+Grafana篇】Prometheus告警规则参数全解析 + Alertmanager实现多平台告警(含电子邮件/企业微信群/飞书群/钉钉群接受方式)_grafana做飞书机器人报警-优快云博客
4【prometheus+Grafana篇】PromQL核心函数解析:rate()与irate()函数详解-优快云博客
5【prometheus+Grafana篇】避坑指南:实践中常见问题与解决方案总结整理(持续更新...)-优快云博客
6【prometheus+Grafana篇】基于Prometheus+Grafana实现Linux操作系统的监控与可视化-优快云博客
7【prometheus+Grafana篇】基于Prometheus+Grafana实现windows操作系统的监控与可视化_grafana 监控 windows-优快云博客
8【prometheus+Grafana篇】基于Prometheus+Grafana实现Oracle数据库的监控与可视化-优快云博客
9【prometheus+Grafana篇】基于Prometheus+Grafana实现MySQL数据库的监控与可视化-优快云博客
10【Prometheus+Grafana篇】监控通过Keepalived实现的MySQL HA高可用架构-优快云博客
11【prometheus+Grafana篇】基于Prometheus+Grafana实现MongoDB数据库的监控与可视化-优快云博客
12【prometheus+Grafana篇】基于Prometheus+Grafana实现Redis数据库的监控与可视化-优快云博客
13【prometheus+Grafana篇】基于Prometheus+Grafana实现postgreSQL数据库的监控与可视化-优快云博客
14【prometheus+Grafana篇】基于Prometheus+Grafana实现SQLserver数据库的监控与可视化-优快云博客

                   

目录

一、在MongoDB 27027实例上的操作(MongoDB默认端口为27017)

二、安装mongodb_exporter(mongodb_exporter:是prometheus的一个插件,抓取和收集MongoDB数据库的各种运行指标用于分析。mongodb_exporter插件是GitHub开源组织提供的,通过GitHub官网下载mongodb_exporter)

1)下载mongodb_exporter安装包,选择download,然后点击“Exporters and integrations”,选择MongoDB exporter

2)跳转到了gitHub,点击mongodb_exporter的版本集,选择最新的mongodb_exporter下载

3)目前mongodb_exporter最新版本为0.42.0。但是最新的0.42.0版本缺少了很多监控项。在csdn找到了一篇监控文章,使用的是0.11.2版本(2020发布),监控项比较齐全,所以使用0.11.2版本

4)解压二进制mongodb_exporter包

5)移动并重命名mongodb_exporter解压出来的目录

6)创建prometheus用户

7)赋权

8)写入linux启动服务项

9)登录mongodb_exporter界面管理,默认端口为9216

三、将当前MongoDB 27027实例加入到prometheus监控,并通过Grafana展示

1)将mongodb_exporter的信息加入到prometheus监控的配置文件prometheus.yml中

2)配置告警规则文件

3)检查配置文件

4)prometheus.yml文件添加了信息,所以重启prometheus进程或者重新加载配置文件(二选一)

5)在prometheus查看是否可以看到监控信息

6)登录Grafana界面管理,将当前主机的监控信息做展示

一、下载一个仪表盘:Grafana官网“http://www.grafana.com”—Dashboard templates,然后选择一个下载量高的自己喜欢的mongodb_exporter(mongodb监控)

二、将仪表盘添加到Grafana上:Dashboards—New—Import—点击“Upload dashboard JSON file”

三、仪表盘展示:Dashboards—查看到已经定义好的仪表盘,并且数据源是prometheus监控,点击进去


                   

 监控MongoDB信息如下:

主机名

IP地址

配置

系统

描述

mongodb

110.120.100.190

4C 8G

Red Hat Linux 8.3

安装mongodb_exporter对这台服务器进行监控

mongodb_exporter:默认端口9216。抓取和收集mongodb数据库的各种运行指标用于分析

         

一、在MongoDB 27027实例上的操作(MongoDB默认端口为27017)

1)创建专属监控用户(不建议使用admin用户,admin用户权限太高)

vin:PRIMARY>
use admin
db.createUser({
  user: "mongodb_exporter",
  pwd: "dL0#zL01",
  roles: [
    { role: "clusterMonitor", db: "admin" },
    { role: "read", db: "local" },
    { role: "read", db: "config" },
    { role: "read", db: "vinsp" }   // 业务库,只在需要时添加此项
  ]
})

   

二、安装mongodb_exporter(mongodb_exporter:是prometheus的一个插件,抓取和收集MongoDB数据库的各种运行指标用于分析。mongodb_exporter插件是GitHub开源组织提供的,通过GitHub官网下载mongodb_exporter

1)下载mongodb_exporter安装包,选择download,然后点击“Exporters and integrations”,选择MongoDB exporter

     

2)跳转到了gitHub,点击mongodb_exporter的版本集,选择最新的mongodb_exporter下载

           

PS:也可以直接在gitHub官网下载

一、通过gitHub(官网地址:https://github.com/)下载mongodb_exporter安装包,在gitHub搜索“mongodb_exporter”。因为是开源,所以大家都是有时间才会开发,所以选择一个最近更新的

二、点击mongodb_exporter的版本集,选择最新的mongodb_exporter下载

     

3)目前mongodb_exporter最新版本为0.42.0。但是最新的0.42.0版本缺少了很多监控项。在csdn找到了一篇监控文章,使用的是0.11.2版本(2020发布),监控项比较齐全,所以使用0.11.2版本

            

4)解压二进制mongodb_exporter包

[root@mongodb ~]# mkdir mongodb_exporter
[root@mongodb ~]# tar -zxvf mongodb_exporter-0.11.2.linux-amd64.tar.gz -C mongodb_exporter

        

5)移动并重命名mongodb_exporter解压出来的目录

[root@mongodb ~]# mkdir -p /opt/prometheus
[root@mongodb ~]# mv mongodb_exporter /opt/prometheus/

    

6)创建prometheus用户

[root@mongodb ~]# groupadd prometheus
[root@mongodb ~]# useradd -g prometheus -M -s /usr/sbin/nologin prometheus     ---创建一个名为prometheus的系统账号,该账号没有家目录并且不能登录Shell。这种设置适用于需要运行服务或任务而不需要用户交互的情况。
-M:不为用户创建家目录。对于系统服务账号来说,通常不需要家目录,因此使用 -M 可以跳过家目录的创建步骤。
-s /usr/sbin/nologin:指定用户登录时使用的Shell。将用户prometheus的登录Shell设置为/usr/sbin/nologin。nologin Shell的作用是阻止用户登录系统,但允许该用户拥有有效的系统账号。这通常用于服务账号,因为它们不需要交互式Shell访问,仅用于执行特定服务或任务。

[root@mongodb ~]# passwd prometheus

[root@mongodb ~]# id prometheus

    

7)赋权

[root@mongodb ~]# chown -R prometheus:prometheus /opt/prometheus/mongodb_exporter

  

8)写入linux启动服务项

[root@mongodb ~]# cd /usr/lib/systemd/system
[root@mongodb ~]# vi mongodb27027_exporter.service
[Unit]
Description=mongodb_exporter
After=network.target

[Service]
Type=simple
User=prometheus
Group=prometheus
Restart=on-failure
ExecStart=/opt/prometheus/mongodb_exporter/mongodb_exporter --mongodb.uri=mongodb://mongodb_exporter:dL0#zL01@110.120.100.190:27027/admin --web.listen-address=0.0.0.0:9216

[Install]
WantedBy=multi-user.target
[root@mongodb ~]# systemctl daemon-reload
[root@mongodb ~]# systemctl start mongodb27027_exporter.service
[root@mongodb ~]# systemctl enable mongodb27027_exporter.service
[root@mongodb ~]# systemctl status mongodb27027_exporter.service

###--mongodb.uri=:用于指定连接 MongoDB 实例的 URI。该 URI 包含了连接到 MongoDB 数据库所需的所有信息,包括 MongoDB 实例的主机、端口、认证信息等。通过这个 URI,mongodb_exporter 可以连接到指定的 MongoDB 实例,并收集指标数据供 Prometheus 抓取。格式为:mongodb://[username:password@]host1[:port1][,...hostN[:portN]][/[defaultauthdb][?options]]

###--web.listen-address=<address>:<port>:指定服务端口。Mongodb的抓取默认通过9216端口访问mongodb_exporter管理界面,可以修改成其他端口用于访问mongodb_exporter管理界面(如果没有修改端口的需求可以不设置这个参数)。此参数只能在mongodb_exporter命令启动时指定,不可以在配置文件prometheus.yml中指定。如果服务器上有多个实例,比如还有27028实例,那么需要再写一个linux启动项,并且通过--mongodb.uri=""参数指定mongodb数据源

                

9)登录mongodb_exporter界面管理,默认端口为9216

http://110.120.100.190:9216/metrics

         

三、将当前MongoDB 27027实例加入到prometheus监控,并通过Grafana展示

注意:如下操作是在安装了prometheus和Grafana的主机上进行操作,安装直通车👉【prometheus+Grafana篇】从零开始:Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter👈

                     

1)将mongodb_exporter的信息加入到prometheus监控的配置文件prometheus.yml中

[root@prometheus ~]# vi /opt/prometheus/prometheus.yml     
在scrape_configs下面新增如下内容:
# mongodb_exporter配置            ###job_name 用来唯一标识一个监控任务。在同一个 prometheus.yml 文件中,不同的 scrape_config可以有不同的job_name,以便 Prometheus 能够区分和管理不同的监控目标和配置,用来将不同的监控目标分组。单位为监控mongodb数据库设置一个独立的job_name
  - job_name: "mongodb监控"
    scrape_interval: 15s            ###指定这个job_name每隔多久从每个目标(如 Exporter、应用端点)拉取一次指标数据。优先级:会覆盖全局的 global:scrape_interval(如果存在)。
    file_sd_configs:
      - files:
        - /data/prometheus/conf.d/mongodb_targets.json        # mongodb需要监控的实例都单独写在了mongodb_targets.json文件中,是为了避免prometheus.yml内容过多,看起来更简洁
     
[root@prometheus ~]# vi /data/prometheus/conf.d/mongodb_targets.json        ###因为使用的是16974 json模版,16974模版没有定义太多的选项,所以只定义目标(targets)、实例信息(instance)即可
[
  {
    "targets": [ "110.120.100.190:9216" ],
    "labels": { "instance": "MongoDB数据库副本集PRIMARY节点(IP:110.120.100.190,端口:27027)" }
  }
]

     

2)配置告警规则文件

    除了如下告警规则之外,还需要单独配置一个Targets目标不可达(up)的相关规则,因为up 是一个布尔值指标,表示 Prometheus 是否能够成功地 scrape(抓取)到指定的目标(targets)数据,用于判断目标mongodb_exporter相关进程是否在目标主机存活。关于up的规则文件参考:【prometheus+Grafana篇】从零开始:Linux 7.6 上二进制安装 Prometheus、Grafana 和 Node Exporter_grafana二进制安装-优快云博客

[root@prometheus ~]# cd /opt/prometheus/rules/     ###在prometheus.yml文件中定义了告警规则文件rule_files参数
[root@prometheus rules]# vi  mongodb_alerts.yml
        
groups:
  - name: mongodb_alerts
    rules:
      - alert: MongoDBDown
        expr: mongodb_up == 0
        for: 3s
        labels:
          severity: critical
        annotations:
          summary: "MongoDB 实例不可用"
          description: "MongoDB 实例 {{ $labels.instance }} 当前不可用,请立即检查!"

      - alert: MongoDBReplicationDelay
        expr: mongodb_mongod_replset_member_replication_lag > 10
        for: 3s
        labels:
          severity: critical
        annotations:
          summary: "MongoDB 复制延迟超限"
          description: "当前 MongoDB副本集 实例 {{ $labels.instance }} 的从库复制延迟超过 10 秒,当前延迟为 {{ $value }} 秒,从库的主机名为 {{ $labels.name }} 。请检查从库的复制状态和网络连接。"

      - alert: MongoDBSessionUsage
        expr: (sum by(instance, job) (mongodb_connections{state="current"}) / sum by(instance, job) (mongodb_connections{state="current"} + on(instance, job) mongodb_connections{state="available"})) * 100 > 90
        for: 3s
        labels:
          severity: critical
        annotations:
          summary: "MongoDB 会话使用率过高"
          description: "当前 MongoDB 实例 {{ $labels.instance }} 的会话连接数已达到最大连接数的 {{ $value | printf \"%.2f\" }}%,超过了 90%。请及时检查会话使用情况!"

             

3)检查配置文件

[root@prometheus ~]# cd /opt/prometheus/
[root@prometheus ~]# ./promtool check config prometheus.yml      ###用于检查 Prometheus 配置文件(prometheus.yml)的语法和格式是否正确。

执行这条命令会执行以下操作:

  1. 验证配置文件的语法:检查 prometheus.yml 文件是否符合 Prometheus 配置格式规范。
  2. 检测潜在的错误或警告:如果配置文件中存在拼写错误、格式问题、无效的配置项等问题,它会提供相关的错误信息或警告。比如告警规则写的不对,就会有提示
  3. 输出有用的诊断信息:如果配置文件存在问题,promtool 会输出详细的错误信息。

 

4)prometheus.yml文件添加了信息,所以重启prometheus进程或者重新加载配置文件(二选一)

#重载:前提是在prometheus.service启动服务项中加了--web.enable-lifecycle参数:--web.enable-lifecycle:###启用Prometheus的生命周期接口,允许通过HTTP请求来动态重新加载配置等操作。这对于在运行时更新配置或执行其他管理操作非常有用,当修改了prometheus的配置后,可以通过curl命令来重新加载配置文件,而不需要重启prometheus(推荐方式)

[root@prometheus ~]# curl -X POST http://localhost:9090/-/reload

 #重启

[root@prometheus ~]# systemctl restart prometheus.service

    

5)在prometheus查看是否可以看到监控信息

网址:http://110.120.100.21:9090

菜单栏:Status—Targets

           

6)登录Grafana界面管理,将当前主机的监控信息做展示

地址:http://110.120.100.21:3000

默认用户:admin

默认密码:admin

   

一、下载一个仪表盘:Grafana官网“http://www.grafana.com”—Dashboard templates,然后选择一个下载量高的自己喜欢的mongodb_exporter(mongodb监控)

注意:不需要再增加数据源了。因为在第一次搭建prometheus+Grafana的时候就已经加好了,在添加数据源时,有个配置项是Connection,这里添加的是prometheus的地址,指的是prometheus监控服务器的地址,而不是mongodb_exporter的地址

      

以16974为例,不仅监控了mongodb基础指标信息,还监控了副本集的状态

   

二、将仪表盘添加到Grafana上:Dashboards—New—Import—点击“Upload dashboard JSON file”

Name:定义名称,最好定义为主机ip加用途

Prometheus:选择prometheus源

....

然后import

           

三、仪表盘展示:Dashboards—查看到已经定义好的仪表盘,并且数据源是prometheus监控,点击进去

仪表盘Name:MongoDB数据库监控

数据源Name:prometheus监控

groups:这里其实就是当时已经在配置prometheus.yml时,定义的job_name,也就是说Grafana会自动识别到.

instance:这里其实就是当时已经在配置prometheus.yml时,定义的instance,也就是说Grafana会自动识别到


 撒花!现在各位小伙伴可以通过通过 Prometheus+Grafana 监控 MySQL,并进行可视化查看啦~~~🎊

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

奈斯DB

打赏到账,我飘啦~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值