Influxdb+Grafana打造Flink监控大盘

Influxdb+Grafana打造Flink监控大盘

Influxdb安装

  • 为什么选influxdb,每条记录都有一个时间戳,很适合这种统计的场景,当然还有其它原因
  • 安装参考文档
  • 注意事项 ,如果要在界面打开查询界面
    需修改配置 /etc/influxdb/influxdb.conf
[admin]
  # Determines whether the admin service is enabled.
   enabled = true

  # The default bind address used by the admin service.
   bind-address = ":8083"

  • 最后如图 web 端口 8083
    在这里插入图片描述
  • 命令行查询界面启动 influx setup

Grafana安装

安装文档

Flink配置

  • 参考文档 Flink 1.8才支持report到influxdb
  • 修改配置文件 flink-conf.yaml
metrics.reporter.influxdb.class: org.apache.flink.metrics.influxdb.InfluxdbReporter
metrics.reporter.influxdb.host: centos-6
metrics.reporter.influxdb.port: 8086
metrics.reporter.influxdb.db: te
  • 复制flink-metrics-influxdb_2.12-1.8.0.jar包 到lib
  • 启动Flink

Grafana配置报表

  • 配置influxdb数据源,默认没有密码,选好库就行了
    在这里插入图片描述
  • 配置报表,例图
    在这里插入图片描述
### 配置 Prometheus 和 Grafana 实现 Flink监控 #### 安装与配置 Prometheus 为了实现对 Flink 的有效监控,Prometheus 是核心组件之一。由于 Flink on YARN 作业的动态特性,直接由 Prometheus 抓取数据存在挑战。因此引入了 PushGateway 中间件来解决这一问题。 - **安装 Prometheus** 下载并解压官方提供的二进制文件即可完成安装过程[^1]。 - **配置 Prometheus** 编辑 `prometheus.yml` 文件,在 scrape_configs 节点下添加针对 PushGateway 数据源的抓取规则: ```yaml scrape_configs: - job_name: 'pushgateway' static_configs: - targets: ['localhost:9091'] ``` 此设置使得 Prometheus 可以定期从指定地址获取推送过来的数据。 #### 使用 PushGateway 收集临时性度量指标 对于像 Flink 这样的批处理或流处理框架来说,其任务可能具有短暂生命周期的特点。此时可以通过修改 Flink 应用程序代码,使其能够向 PushGateway 发送自定义 Metrics;或者利用 Flink 提供的内置 Metric Reporter 功能指向 PushGateway 地址。 当应用程序结束运行之后,这些短期存在的 Metrics 不会立即消失而是继续存在于 PushGateway 上等待被采集[^3]。 #### 安装与配置 Grafana Grafana 主要用于可视化展示收集到的各种性能指标信息。 - **下载与启动 Grafana** 访问镜像站点加速下载速度,并按照常规方式启动服务进程[^2]: ```bash nohup ./bin/grafana-server web & ``` 默认情况下监听于本地 3000 端口上提供 Web UI 接入支持,默认用户名密码均为 admin。 - **连接至 Prometheus 数据源** 登录后进入 Data Sources 页面新增一个名为 "Prometheus" 类型的选择项,填入之前部署好的 Prometheus Server URL 即可建立关联关系。 - **创建仪表板** 导入预先设计好适用于 Flink 监控场景下的模板化面板布局方案(例如 ID 为 11049),这样就能快速获得一组合理的视图组合来进行日常运维管理操作了。 ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wending-Y

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值