Quickwit监控实战：使用Prometheus和Grafana可视化指标-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00721/article/details/148416345

Quickwit监控实战：使用Prometheus和Grafana可视化指标

quickwit Sub-second search & analytics engine on cloud storage 项目地址: https://gitcode.com/gh_mirrors/qu/quickwit

前言

在现代搜索和日志分析系统中，实时监控系统运行状态至关重要。本文将详细介绍如何为Quickwit搜索和分析引擎搭建完整的监控系统，使用Prometheus采集指标数据，并通过Grafana进行可视化展示。

核心组件介绍

Quickwit

Quickwit是一款高性能的分布式搜索和分析引擎，专为日志和事件数据优化设计。它内置了OpenTelemetry支持，可以暴露丰富的系统指标。

Prometheus

Prometheus是云原生领域广泛使用的监控系统和时序数据库，采用拉取(pull)模式采集指标数据。

Grafana

Grafana是领先的开源可视化平台，支持多种数据源，能够创建丰富的监控仪表盘。

环境准备

Docker Compose配置

我们使用Docker Compose来编排三个核心服务：

services:
  quickwit:
    image: quickwit/quickwit
    environment:
      QW_ENABLE_OPENTELEMETRY_OTLP_EXPORTER: "true"
      OTEL_EXPORTER_OTLP_ENDPOINT: "http://localhost:7281"
    ports:
      - 7280:7280
    command: ["run"]

  grafana:
    image: grafana/grafana-oss
    container_name: grafana
    ports:
      - "3000:3000"
    environment:
      GF_AUTH_DISABLE_LOGIN_FORM: "true"
      GF_AUTH_ANONYMOUS_ENABLED: "true"
      GF_AUTH_ANONYMOUS_ORG_ROLE: Admin

  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml
    ports:
      - 9090:9090

配置说明：

Quickwit服务启用了OpenTelemetry导出器
Grafana配置了匿名访问权限
Prometheus通过挂载配置文件实现自定义配置

Prometheus配置详解

创建prometheus.yml配置文件：

global:
  scrape_interval: 1s  # 采集间隔
  scrape_timeout: 1s   # 采集超时时间

scrape_configs:
  - job_name: quickwit
    metrics_path: /metrics  # Quickwit指标端点
    static_configs:
      - targets:
          - quickwit:7280  # Quickwit服务地址

关键参数说明：

scrape_interval: 决定了指标采集的频率，生产环境可根据负载调整
targets: 指定了Quickwit服务的网络位置

启动监控系统

执行以下命令启动所有服务：

docker compose up -d

启动后可以访问以下服务：

Quickwit: http://localhost:7280
Prometheus: http://localhost:9090
Grafana: http://localhost:3000

Grafana配置步骤

添加数据源
- 登录Grafana后，导航至"Configuration" > "Data Sources"
- 选择"Prometheus"类型
- 设置URL为http://prometheus:9090
- 点击"Save & Test"验证连接
创建仪表盘
- 导航至"Create" > "Dashboard"
- 添加新的面板(Panel)
- 选择Prometheus数据源
- 输入PromQL查询表达式

关键监控指标

Quickwit暴露的主要指标包括：

系统资源指标
- CPU使用率
- 内存占用
- 文件描述符数量
搜索性能指标
- 查询延迟
- 查询吞吐量
- 缓存命中率
索引相关指标
- 索引文档数
- 索引大小
- 索引操作延迟

最佳实践建议

监控策略
- 为关键指标设置告警阈值
- 区分开发环境和生产环境的监控粒度
- 定期审查指标采集频率对系统性能的影响
性能优化
- 根据业务特点调整Prometheus的采集间隔
- 对高频指标考虑使用记录规则(Recording Rules)
- 合理设置数据保留策略
安全考虑
- 生产环境应配置适当的认证机制
- 限制监控系统的访问权限
- 定期备份Grafana仪表盘配置