docker部署监控系统prometheus实战

最新推荐文章于 2025-10-13 17:24:50 发布
原创 最新推荐文章于 2025-10-13 17:24:50 发布 · 666 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#prom #监控类 #运维

本文介绍如何使用Docker部署Prometheus、Node-Exporter、Alertmanager及Grafana，实现系统的全面监控与警报通知。包括环境搭建、配置文件编写、告警规则设置等关键步骤。

一 介绍

通过docker部署prometheus、node-exporter、alertmanager和grafana。

Prometheus是最初在SoundCloud上构建的开源系统监视和警报工具包。自2012年成立以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。Prometheus 于2016年加入了 Cloud Native Computing Foundation，这是继Kubernetes之后的第二个托管项目。

官网：https://prometheus.io 

Exporter是一个采集监控数据并通过Prometheus监控规范对外提供数据的组件，能为Prometheus提供监控的接口。

Exporter将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，Prometheus Server通过访问该Exporter提供的Endpoint端点，即可获取到需要采集的监控数据。不同的Exporter负责不同的业务。

  • Prometheus 开源的系统监控和报警框架，灵感源自Google的Borgmon监控系统
  • AlertManager 处理由客户端应用程序（如Prometheus server）发送的警报。它负责将重复数据删除，分组和路由到正确的接收者集成，还负责沉默和抑制警报
  • Node_Exporter 用来监控各节点的资源信息的exporter，应部署到prometheus监控的所有节点
  • prometheus-webhook-dingtalk 钉钉告警插件
  • grafana 监控可视化

二 环境准备

docker部署

拉取最新的docker镜像

2.1 安装node-exporter

docker pull prom/node-exporter:latest

docker run -d -p 9100:9100 --name node-exporter prom/node-exporter:latest

docker ps

CONTAINER ID        IMAGE                       COMMAND                CREATED             STATUS              PORTS                    NAMES
95252704e558        prom/node-exporter:latest   "/bin/node_exporter"   3 seconds ago       Up 2 seconds        0.0.0.0:9100->9100/tcp   node-exporter

netstat -lntp |grep docker

tcp6       0      0 :::9100                 :::*                    LISTEN      9076/docker-proxy

 

2.2 安装alertmanager&prometheus-webhook-dingtalk

mkdir /data/prom && cd /data/prom

docker pull prom/alertmanager:latest

docker pull timonwong/prometheus-webhook-dingtalk               #钉钉告警

vim config.yml
targets:
  webhook:
    url: ********             #修改为钉钉机器人的webhook
    mention:
      all: true
vim alertmanager.yml
global:
  resolve_timeout: 5m
  smtp_smarthost: '****:465'             #邮箱smtp服务器代理，启用SSL发信, 端口一般是465
  smtp_from: '****'              #发送邮箱名称
  smtp_auth_username: '****'              #邮箱名称
  smtp_auth_password: '********'                #邮箱密码或授权码
  smtp_require_tls: false

route:
  receiver: 'default'
  group_wait: 10s
  group_interval: 1m
  repeat_interval: 1h
  group_by: ['alertname']

inhibit_rules:
- source_match:
    severity: 'critical'
  target_match:
    severity: 'warning'
  equal: ['alertname', 'instance']

receivers:
- name: 'default'
  email_configs:
  - to: '*******@qq.com'   #接受者邮箱   
    send_resolved: true
  webhook_configs:
  - url: 'http://****:8060/dingtalk/webhook/send'  #alterdingtalk的ip地址
    send_resolved: true

docker run -d -p 8060:8060 -v /data/prom/config.yml:/etc/prometheus-webhook-dingtalk/config.yml --name alertdingtalk timonwong/prometheus-webhook-dingtalk
docker run -d -p 9093:9093 -p 9094:9094 -v /data/prom/alertmanager.yml:/etc/alertmanager/alertmanager.yml --name alertmanager prom/alertmanager:latest

2.3 安装prometheus

mkdir -p /data/prom/prometheus && chmod 777 /data/prom/prometheus && cd /data/prom
docker pull prom/prometheus:latest

####配置告警规则

vim alert-rules.yml  

groups:
  - name: node-alert
    rules:
    - alert: NodeDown
      expr: up{job="node"} == 0
      for: 5m
      labels:
        severity: critical
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} down"
        description: "Instance: {{ $labels.instance }} 已经宕机 5分钟"
        value: "{{ $value }}"
        
    - alert: NodeCpuHigh
      expr: (1 - avg by (instance) (irate(node_cpu_seconds_total{job="node",mode="idle"}[5m]))) * 100 > 80
      for: 5m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} cpu使用率过高"
        description: "CPU 使用率超过 80%"
        value: "{{ $value }}"

    - alert: NodeCpuIowaitHigh
      expr: avg by (instance) (irate(node_cpu_seconds_total{job="node",mode="iowait"}[5m])) * 100 > 50
      for: 5m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} cpu iowait 使用率过高"
        description: "CPU iowait 使用率超过 50%"
        value: "{{ $value }}"

    - alert: NodeLoad5High
      expr: node_load5 > (count by (instance) (node_cpu_seconds_total{job="node",mode='system'})) * 1.2
      for: 5m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} load(5m) 过高"
        description: "Load(5m) 过高，超出cpu核数 1.2倍"
        value: "{{ $value }}"

    - alert: NodeMemoryHigh
      expr: (1 - node_memory_MemAvailable_bytes{job="node"} / node_memory_MemTotal_bytes{job="node"}) * 100 > 90
      for: 5m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} memory 使用率过高"
        description: "Memory 使用率超过 90%"
        value: "{{ $value }}"

    - alert: NodeDiskRootHigh
      expr: (1 - node_filesystem_avail_bytes{job="node",fstype=~"ext.*|xfs",mountpoint ="/"} / node_filesystem_size_bytes{job="node",fstype=~"ext.*|xfs",mountpoint ="/"}) * 100 > 90
      for: 10m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} disk(/ 分区) 使用率过高"
        description: "Disk(/ 分区) 使用率超过 90%"
        value: "{{ $value }}"

    - alert: NodeDiskBootHigh
      expr: (1 - node_filesystem_avail_bytes{job="node",fstype=~"ext.*|xfs",mountpoint ="/boot"} / node_filesystem_size_bytes{job="node",fstype=~"ext.*|xfs",mountpoint ="/boot"}) * 100 > 80
      for: 10m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} disk(/boot 分区) 使用率过高"
        description: "Disk(/boot 分区) 使用率超过 80%"
        value: "{{ $value }}"

    - alert: NodeDiskReadHigh
      expr: irate(node_disk_read_bytes_total{job="node"}[5m]) > 20 * (1024 ^ 2)
      for: 5m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} disk 读取字节数 速率过高"
        description: "Disk 读取字节数 速率超过 20 MB/s"
        value: "{{ $value }}"

    - alert: NodeDiskWriteHigh
      expr: irate(node_disk_written_bytes_total{job="node"}[5m]) > 20 * (1024 ^ 2)
      for: 5m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} disk 写入字节数 速率过高"
        description: "Disk 写入字节数 速率超过 20 MB/s"
        value: "{{ $value }}"
        
    - alert: NodeDiskReadRateCountHigh
      expr: irate(node_disk_reads_completed_total{job="node"}[5m]) > 3000
      for: 5m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} disk iops 每秒读取速率过高"
        description: "Disk iops 每秒读取速率超过 3000 iops"
        value: "{{ $value }}"

    - alert: NodeDiskWriteRateCountHigh
      expr: irate(node_disk_writes_completed_total{job="node"}[5m]) > 3000
      for: 5m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} disk iops 每秒写入速率过高"
        description: "Disk iops 每秒写入速率超过 3000 iops"
        value: "{{ $value }}"

    - alert: NodeInodeRootUsedPercentHigh
      expr: (1 - node_filesystem_files_free{job="node",fstype=~"ext4|xfs",mountpoint="/"} / node_filesystem_files{job="node",fstype=~"ext4|xfs",mountpoint="/"}) * 100 > 80
      for: 10m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} disk(/ 分区) inode 使用率过高"
        description: "Disk (/ 分区) inode 使用率超过 80%"
        value: "{{ $value }}"

    - alert: NodeInodeBootUsedPercentHigh
      expr: (1 - node_filesystem_files_free{job="node",fstype=~"ext4|xfs",mountpoint="/boot"} / node_filesystem_files{job="node",fstype=~"ext4|xfs",mountpoint="/boot"}) * 100 > 80
      for: 10m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} disk(/boot 分区) inode 使用率过高"
        description: "Disk (/boot 分区) inode 使用率超过 80%"
        value: "{{ $value }}"
        
    - alert: NodeFilefdAllocatedPercentHigh
      expr: node_filefd_allocated{job="node"} / node_filefd_maximum{job="node"} * 100 > 80
      for: 10m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} filefd 打开百分比过高"
        description: "Filefd 打开百分比 超过 80%"
        value: "{{ $value }}"

    - alert: NodeNetworkNetinBitRateHigh
      expr: avg by (instance) (irate(node_network_receive_bytes_total{device=~"eth0|eth1|ens33|ens37"}[1m]) * 8) > 20 * (1024 ^ 2) * 8
      for: 3m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} network 接收比特数 速率过高"
        description: "Network 接收比特数 速率超过 20MB/s"
        value: "{{ $value }}"

    - alert: NodeNetworkNetoutBitRateHigh
      expr: avg by (instance) (irate(node_network_transmit_bytes_total{device=~"eth0|eth1|ens33|ens37"}[1m]) * 8) > 20 * (1024 ^ 2) * 8
      for: 3m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} network 发送比特数 速率过高"
        description: "Network 发送比特数 速率超过 20MB/s"
        value: "{{ $value }}"
        
    - alert: NodeNetworkNetinPacketErrorRateHigh
      expr: avg by (instance) (irate(node_network_receive_errs_total{device=~"eth0|eth1|ens33|ens37"}[1m])) > 15
      for: 3m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} 接收错误包 速率过高"
        description: "Network 接收错误包 速率超过 15个/秒"
        value: "{{ $value }}"

    - alert: NodeNetworkNetoutPacketErrorRateHigh
      expr: avg by (instance) (irate(node_network_transmit_packets_total{device=~"eth0|eth1|ens33|ens37"}[1m])) > 15
      for: 3m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} 发送错误包 速率过高"
        description: "Network 发送错误包 速率超过 15个/秒"
        value: "{{ $value }}"

    - alert: NodeProcessBlockedHigh
      expr: node_procs_blocked{job="node"} > 10
      for: 10m
      labels:
        severity: warning
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} 当前被阻塞的任务的数量过多"
        description: "Process 当前被阻塞的任务的数量超过 10个"
        value: "{{ $value }}"

    - alert: NodeTimeOffsetHigh
      expr: abs(node_timex_offset_seconds{job="node"}) > 3 * 60
      for: 2m
      labels:
        severity: info
        instance: "{{ $labels.instance }}"
      annotations:
        summary: "instance: {{ $labels.instance }} 时间偏差过大"
        description: "Time 节点的时间偏差超过 3m"
        value: "{{ $value }}"

#配置prometheus.yml

vim prometheus.yml

global:
  scrape_interval:     15s
  evaluation_interval: 15s

alerting:
  alertmanagers:
  - static_configs:
    - targets:
      - 192.168.1.1:9093

rule_files:
  - "*rules.yml"

scrape_configs:
  - job_name: 'prometheus'
    static_configs:
    - targets: ['192.168.1.1:9090']

  - job_name: 'node'
    static_configs:
    - targets: ['192.168.1.1:9100']

  - job_name: 'alertmanager'
    static_configs:
    - targets: ['192.168.1.1:9093']
  - job_name: 'java'
    scrape_interval: 10s
    static_configs:
      - targets: ['192.168.1.1:6060']
        labels:
          instance: 'java-server1'
      - targets: ['192.168.1.1:8000']
        labels:
          instance: 'java-server2'

#启动容器

docker run -d -p 9090:9090 -v /data/prom/prometheus.yml:/etc/prometheus/prometheus.yml -v /data/prom/alert-rules.yml:/etc/prometheus/alert-rules.yml -v /data/prom/prometheus:/prometheus --name prometheus prom

2.4 安装grafana #图形化

mkdir -p /data/grafana-storage && chmod 777 /data/grafana-storage

docker pull grafana/grafana:latest

docker run -d -p 3000:3000 --name=grafana -v /data/grafana-storage:/var/lib/grafana grafana/grafana

三 界面配置

3.1 https://grafana.com/grafana/dashboards

导入模板8919

 

3.4 数据大盘 服务器监控/jvm监控

 

 

四 告警方式

4.1 邮件告警

4.2钉钉告警

【云原生之Docker实战】使用Docker部署Prometheus 服务监控系统
jks212454的博客
11-07 2921
【云原生之Docker实战】使用Docker部署Prometheus 服务监控系统
使用 Docker 部署 Prometheus + Grafana 监控平台
2401_83704159的博客
03-31 1125
在清楚了各个大厂的面试重点之后，就能很好的提高你刷题以及面试准备的效率，接下来小编也为大家准备了最新的互联网大厂资料。《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！小编也为大家准备了最新的互联网大厂资料。[外链图片转存中…(img-uMuBE1XL-1711885461906)][外链图片转存中…(img-PJUDQlsr-1711885461906)][外链图片转存中…(img-C0Pbp5Gj-1711885461907)]
Docker环境部署Prometheus实践
Dragon的博客
09-12 4292
目录 一、Prometheus简介 二、部署PrometheusServer 三、部署监控组件Exporter 四、部署Alertmanager报警组件 五、Grafana展示组件 六、PromQL语句 七、使用Concul HTTP注册方式实现服务发现 一、Prometheus简介 Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。 Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。2016年由Goo
使用 Docker 部署项目及 Prometheus + Grafana 监控全流程
最新发布
小曹的博客
10-13 1964
容器的核心技术命令太多太复杂，不易管理，所以出现了Docker。Docker不是容器，而是容器管理平台，帮我们管理上面Cgroups、SELinux、NameSpace等容器核心技术。只要我们掌握Docker的命令即可，无需再关注底层的三大技术。Prometheus是一个开源的监控系统和时间序列数据库，最初由 SoundCloud开发，是由GO语言编写的。它特别适用于监控微服务架构和容器化应用，具有高效的数据采集、灵活的查询语言和强大的告警功能。Retrieval。
docker部署prometheus
a19870822cp的博客
09-22 4073
1 prometheus简介 prometheus是由 SoundCloud 开源监控告警解决方案，是云原生时代最火热的监控系统之一。 详细功能可以参看官网文档。 2 prometheus部署 本文主要讲述prometheus的部署，云原生当然是用k8s来部署，所以本文不会讲源码安装、二进制安装等，先从docker 安装说起，k8s后面再讲。 2.1 部署组件 prometheus不只有prometheus，而是有一些列的组件，本次使用docker-compose部署prometheus、node_exp
使用Docker容器部署Prometheus
yuer1228的博客
06-03 6160
一致性：容器化的Prometheus可以确保在不同环境和平台上的一致性，避免了由于环境不同而导致的问题。可移植性：容器化的Prometheus可以轻松地在不同环境中移植，从而降低了迁移和升级的成本和风险。可扩展性：容器化的Prometheus可以轻松地扩展到多个节点和实例，以满足不同规模和性能要求。安全性：容器可以提供更好的安全性，包括隔离、容器间通信的控制、镜像签名和验证等。简化部署：使用容器可以快速部署Prometheus，减少了部署和配置的复杂度。灵活性：容器可以在任何平台上运行，包括云、物理机等。
Docker搭建Prometheus监控系统
cnzzs的博客
11-20 1870
一、实验环境主机：虚拟机(不做介绍)IP地址：192.168.60.130硬件配置：2vCPU、4G 内存操作系统：Ubuntu 22.04.4 LTSDocker版本：24.0.7docker-compose版本：v2.29.7Prometheus联邦集群：Prometheus：采集、存储数据。alertmanager：...
prometheus监控docker容器详细资料—超详细，超全面(带文档和相关软件包)
06-04
Prometheus是目前广泛应用的一种开源监控系统和时间序列数据库，它被设计用来收集和存储各种服务的度量数据，便于分析和警报。在容器化环境中，如Docker，Prometheus可以提供强大的监控能力，帮助运维人员实时了解...
Spring Boot + Docker 应用监控配置教程 Prometheus + Grafana
记录学习的点点滴滴
07-22 1111
Spring Boot + Docker 应用监控配置 (Prometheus + Grafana)， Prometheus 配置教程，Grafana 配置教程。
基于Docker部署Prometheus
LS19990712的博客
07-15 4895
环境：阿里云CentOS7.9。
docker部署简易Prometheus
kali_yao的博客
02-05 1万+
在之后需要书写自定义告警的，需要在学习一下PromQL语言，一般网上也能搜到，可以在安装一个grafana可视乎验证PromQL语言一.概述1.什么是普罗米修斯是一个开源系统，Prometheus 收集其指标并将其存储为时间序列数据，即指标信息与记录它的时间戳一起存储，以及称为标签的可选键值对2.特征普罗米修斯的主要特点是：具有由指标名称和键/值对标识的时间序列数据的多维PromQL，一种，可利用此维度不依赖分布式存储;单服务器节点是自治的时序收集通过 HTTP 上的拉取模型进行。
基于docker部署Prometheus
热门推荐
北城半夏
08-29 1万+
文章目录基于Docker搭建Prometheus+Grafana+Cadvisor监控平台gitee介绍Prometheus部署Prometheus1、安装docker2、下载镜像包3、启动node-exporter访问url：4、启动mysqld-exporter访问url：5、启动cadvisor访问url：6、启动prometheus内容如下：7、启动prometheus访问url：8、启动grafana选择Prometheus 基于Docker搭建Prometheus+Grafana+Cadviso
基于docker部署prometheus
青梅煮酒
03-06 1393
http://192.168.75.160:9090/ 访问该地址，出现一个简单ui界面，说明部署成功，此时target只有本机一个节点。说明采集信息成功，修改prometheus服务上的配置文件/tmp/prometheus.yml，增加一个Linux的job_name。http://192.168.75.161:8080/metrics / #该地址的数据为prometheus识别的数据的接口。然后配置grafana仪表盘，本次导入9276模板，和刚才导入模板的方式一致。
docker部署Prometheus
weixin_69426344的博客
03-25 1018
目前互联网公司常用的组件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux 系统信息 (包括磁盘、内存、CPU、网络等等)，具体支持的源看：https://github.com/prometheus。Prometheus基本原理是通过HTTP协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供HTTP接口就可以接入监控系统，不需要任何SDK或者其他的集成过程。访问url： 192.**.**.***: 9090/targets。
Docker部署Prometheus
faoids的博客
05-09 1249
普罗米修斯的主服务器node_exporter – 用于机器系统数据收集mysqld-exporter 用于MySQL数据库数据收集Cadvisor 用于收集宿主机上的docker容器数据Grafana是一个开源的功能丰富的数据可视化平台，通常用于时序数据的可视化。
Docker 部署 Prometheus
weixin_46837396的博客
08-17 1190
Docker 部署 Prometheus 说明： 监控端安装： Prometheus Server(普罗米修斯监控主服务器 ) Node Exporter (收集Host硬件和操作系统信息) cAdvisor (负责收集Host上运行的容器信息) Grafana (展示普罗米修斯监控界面） 被监控安装： Node Exporter (收集Host硬件和操作系统信息) cAdvisor (负责收集Host上运行的容器信息) 1.安装Node Exporter 所有服务器安装 Node Exporte
prometheus docker部署
ly4983的专栏
05-30 1319
我们在本机开启node_exporter后需要在prometheus server上进行配置，最终实现在prometheus页面看到监控主机的信息。填写Prometheus的地址,这里的ip需要将服务名作为地址填写在URL中 我填写的内容是http://10.23.3.2:9090。firewall-cmd --zone=public --add-port=9100/tcp --permanent 等等。需要进行大量的配置,这里推荐直接从gitee上克隆已经配置好的docker-compose文件。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值