利用Prometheus监控Flink任务

Flink支持多种metric报告方式,例如prometheus, influbDB, JMX等。本篇主要记录Prometheus+Pushgateway的方式监控Flink任务。

00x准备工作

1. 下载Prometheus、Pushgateway和AlertManager

这三个工具都是Prometheus生态组件,下载地址:

https://prometheus.io/download/

01x配置

1. 将下载的组件解压到任意目录,如

/app/prometheus

/app/pushgateway

/app/alertmanager

2. 配置prometheus

# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
alerting:
  alertmanagers:
  - static_configs:
    - targets:
       - localhost:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
   - "rules/*.yml"
  
### 配置 Prometheus 和 Grafana 实现 Flink监控 #### 安装与配置 Prometheus 为了实现对 Flink 的有效监控Prometheus 是核心组件之一。由于 Flink on YARN 作业的动态特性,直接由 Prometheus 抓取数据存在挑战。因此引入了 PushGateway 中间件来解决这一问题。 - **安装 Prometheus** 下载并解压官方提供的二进制文件即可完成安装过程[^1]。 - **配置 Prometheus** 编辑 `prometheus.yml` 文件,在 scrape_configs 节点下添加针对 PushGateway 数据源的抓取规则: ```yaml scrape_configs: - job_name: 'pushgateway' static_configs: - targets: ['localhost:9091'] ``` 此设置使得 Prometheus 可以定期从指定地址获取推送过来的数据。 #### 使用 PushGateway 收集临时性度量指标 对于像 Flink 这样的批处理或流处理框架来说,其任务可能具有短暂生命周期的特点。此时可以通过修改 Flink 应用程序代码,使其能够向 PushGateway 发送自定义 Metrics;或者利用 Flink 提供的内置 Metric Reporter 功能指向 PushGateway 地址。 当应用程序结束运行之后,这些短期存在的 Metrics 不会立即消失而是继续存在于 PushGateway 上等待被采集[^3]。 #### 安装与配置 Grafana Grafana 主要用于可视化展示收集到的各种性能指标信息。 - **下载与启动 Grafana** 访问镜像站点加速下载速度,并按照常规方式启动服务进程[^2]: ```bash nohup ./bin/grafana-server web & ``` 默认情况下监听于本地 3000 端口上提供 Web UI 接入支持,默认用户名密码均为 admin。 - **连接至 Prometheus 数据源** 登录后进入 Data Sources 页面新增一个名为 "Prometheus" 类型的选择项,填入之前部署好的 Prometheus Server URL 即可建立关联关系。 - **创建仪表板** 导入预先设计好适用于 Flink 监控场景下的模板化面板布局方案(例如 ID 为 11049),这样就能快速获得一组合理的视图组合来进行日常运维管理操作了。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值