Flink从入门到精通100篇（三）-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境

最新推荐文章于 2023-07-30 00:38:33 发布
最新推荐文章于 2023-07-30 00:38:33 发布
阅读量1.3k 收藏
点赞数
分类专栏： Flink从入门到精通100篇 文章标签： InfluxDB Grafana yarn flink 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wenyusuran/article/details/107905112
版权
本文介绍了如何利用InfluxDB和Grafana搭建Flink on YARN作业的监控环境。详细阐述了InfluxDB的安装配置、数据库创建、Flink Metrics Reporter的配置，以及Grafana的安装和数据源添加，提供了Flink Metrics Dashboard的示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

虽然博主之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问题。

硬件参数

新版InfluxDB的集群版是收费的，但是单点也足够我们存储较长时间的监控数据了。

  • CPU：Intel E5 v4 12C/24T

  • 内存：96GB

  • 硬盘：500GB SSD * 2

  • 网络：10Gbps

  • 操作系统：CentOS 7.5 64-bit

  • InfluxDB 1.8

  • Grafana 6.7.4

安装与配置InfluxDB

先下载RPM包，再用yum localinstall安装，可以自动解决依赖关系。

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.0.x86_64.rpm
y
了解本专栏 订阅专栏 解锁全文
【大数据技术攻关专题】「Apache-Flink零基础入门」手把手+零基础带你玩转大数据流式处理引擎Flink（基础概念解析+有状态的流式处理）
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
12-27 1434
Apache Flink 是业界公认的最佳流计算引擎之一，它不仅仅局限于流处理，而是一套兼具流、批、机器学习等多种计算功能的大数据引擎。Flink 的用户只需根据业务逻辑开发一套代码，就能够处理全量数据、增量数据和实时数据，无需针对不同的数据类型开发不同的方案。这使得 Flink 成为大数据处理领域中的一款强大工具，可以帮助您构建高效、可靠的大数据处理系统。希望通过本专题，让大家更全面地了解 Apache Flink 背后的技术，更加得心应手地使用Apache Flink。
大数据学习指南从入门到精通
Lansonli（蓝深李）的博客
05-21 2万+
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
xcode 模拟器调试直接进入沙盒
11-16
代码下下来,是出现My Mac直接点击Run然后,Build Success 后重启XCode 或者重启电脑,再打开程序,在Xcode菜单栏中选择File->Go to SandBox!->选择当前选择的模拟器,找到氮气项目,打开即时沙盒位置
influxdb无法查询tag_利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
weixin_39807859的博客
11-19 379
Flink 从入门到精通 系列文章前言虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问...
利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
LittleMagic's Blog
06-17 1576
前言 虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问题。 硬件参数 新版Influx...
InfluxDB从入门到精通：快速上手
以梦为马
07-14 2292
InfluxDB是一个开源的时间序列平台。包括用于存储和查询的API，在后台为ETL或监控和告警处理数据，用户仪表盘，以及可视化和探索数据等。它由Go写成，致力于高性能时序型数据库，被广泛应用于存储系统的监控数据，loT行业的实时数据等场景。ETL，代表提取、转换和加载， 是一个数据集成过程，它将多个来源的数据结合到一个单一的、一致的数据存储库中，然后再将这个存储库装入到数据仓库或其他目标系统中。
Flink 1.14将数据写入InfluxDB 2.1.1
从大数据到人工智能的博客
01-02 1919
InfluxDB作为时序数据库，在与时间相关的数据记录中，发挥着巨大的作用。下文以flink为例，通过参考Flink第三方扩展（https://github.com/apache/bahir-flink/tree/master/flink-connector-influxdb2）. 自定义source将数据写入influxDB 2.1.1中。 在完成以下工作时，请确保您已经安装并配置了InfluxDB 2.1.1，如果您还未安装配置，可参考以下文章（https://lrting-top.blog.cs
Flink 在易车落地应用与实践-Flink Forward Asia 2021.pdf
04-29
易车采用了基于Prometheus和Grafana的监控系统，通过Flink APP、pushgateway、VictoriaMetrics和Hulk等工具实现全链路监控。监控系统能追踪任务状态、指标，及时发现问题并进行告警。然而，随着任务量的增长，...
Flink系列-1、流式计算简介
不积跬步无以至千里，不积小流无以成江河
12-09 3611
Flink系列-1、流式计算简介
Flink的几种监控方案以及对比
clz1314521的专栏
08-17 1297
目录 1，利用 API 获取监控数据 2，reporter 去上报监控数据，比如 JMXReporter、PrometheusReporter、PrometheusPushGatewayReporter、InfluxDBReporter、StatsDReporter 等 1，利用 API 获取监控数据 利用 Flink UI 提供的接口去定时获取到监控数据，相关 Rest API 可以查看官网链接：rest-api-integration 2，reporter 去上报监控数据，比如 JMXR.
iOS学习之iOS沙盒(sandbox)机制和文件操作(一)
热门推荐
空杯子
06-17 12万+
1、iOS沙盒机制 iOS应用程序只能在为该改程序创建的文件系统中读取文件，不可以去其它地方访问，此区域被成为沙盒，所以所有的非代码文件都要保存在此，例如图像，图标，声音，映像，属性列表，文本文件等。 1.1、每个应用程序都有自己的存储空间 1.2、应用程序不能翻过自己的围墙去访问别的存储空间的内容 1.3、应用程序请求的数据都要通过权限检测，假如不符合条件的话，不会被放行。     通过这张图只
ios 模拟器沙盒_ios沙盒，真机模拟器查看沙盒内容
weixin_35057726的博客
01-14 565
一、沙盒文件结构--Documents ------ 可以和iTunes共享，可以同步的--Library ------ 不共享给用户，存储用户默认设置和缓存等--Caches ------ 存储缓存--Preferences ------ 存储用户偏好设置--SystemData ------(这个目录暂时不知道用来...
iOS模拟器沙盒使用推荐
diaomu2002的博客
12-07 299
iOS沙盒路径的查看和使用 1、模拟器沙盒目录文件都在个人用户名文件夹下的一个隐藏文件夹里，中文叫资源库，他的目录其实是Library。因为应用是在沙箱（sandbox）中的，在文件读写权限上受到限制，只能在几个目录下读写文件：Documents：应用中用户数据可以放在这里，iTunes备份和恢复的时候会包括此目录tmp：存放临时文件，iTunes不会备份和恢复此目录，此目录下...
iOS沙盒详解_技术成长笔记_新浪博客
u010783713的专栏
12-15 171
http://zhece.com 升级方案：IOS软件在APP STORE上升级的时候，只需把配置文件放在Document目录下，就可以。其他文件会随着版本的更新被替换掉。 IOS沙盒(sandbox)机制和文件操作(一) 0人收藏此文章,我要收藏发表于27天前(2012-07-14 19:40) , 已有280次阅读 共0个评论 1、IOS沙盒机制 IOS应用程序只...
【项目实战】Flink+InfluxDB+Grafana实现对YARN集群队列资源进行画像
大数据研习社
03-17 2119
以Flink项目实现为主线，重点讲解Flink项目相关的核心技术，包含Flink流式计算、InfluxDB时序数据库和Grafana数据可视化等。基础的学员能快速上手Flink进行项目开发，有大数据基础的学员也能快速掌握Flink核心技术并积累Flink实际项目经验。
Influxdb+Grafana打造Flink监控大盘
csdn问鼎
07-07 5118
Influxdb+Grafana打造Flink监控大盘Influxdb安装Grafana安装Flink配置Grafana配置报表 Influxdb安装 为什么选influxdb，每条记录都有一个时间戳，很适合这种统计的场景，当然还有其它原因 安装参考文档 注意事项 ,如果要在界面打开查询界面 需修改配置 /etc/influxdb/influxdb.conf [admin] # Deter...
iOS 获取模拟器上的沙盒路径
SoulKey的博客
12-21 2696
在工程里写上如下代码，打印出来 NSString *caches = [NSSearchPathForDirectoriesInDomains(NSCachesDirectory, NSUserDomainMask, YES) lastObject]; NSLog(@"caches:%@",caches); //caches:/Users/soul
ios-模拟器沙盒位置
rv0p111
01-21 1728
模拟器的沙盒在ios8的地方，苹果给换了地方，换到了/Users/用户名/Library/Developer/CoreSimulator/Devices 在这个路径下都是各个设备的模拟器，想要找到哪一台模拟器是什么类型的就要去Xcode里面点 然后我们去看里面的设置的唯一标识 我们点进模拟器就可以看到下面的目录结构，Bundle就是资源包，Data就是沙盒，沙盒和Bundle是分开来
ios 查看模拟器沙盒的路径
路人甲
07-30 2089
复制路径粘帖到前往文件夹打开沙盒缓存文件夹。
Prometheus+Grafana 监控flink
最新发布
02-14
### 配置 Prometheus 和 Grafana 实现 Flink 的监控 #### 安装与配置 Prometheus 为了实现对 Flink 的有效监控，Prometheus 是核心组件之一。由于 Flink on YARN 作业的动态特性，直接由 Prometheus 抓取数据存在挑战。因此引入了 PushGateway 中间件来解决这一问题。 - **安装 Prometheus** 下载并解压官方提供的二进制文件即可完成安装过程[^1]。 - **配置 Prometheus** 编辑 `prometheus.yml` 文件，在 scrape_configs 节点下添加针对 PushGateway 数据源的抓取规则： ```yaml scrape_configs: - job_name: 'pushgateway' static_configs: - targets: ['localhost:9091'] ``` 此设置使得 Prometheus 可以定期从指定地址获取推送过来的数据。 #### 使用 PushGateway 收集临时性度量指标 对于像 Flink 这样的批处理或流处理框架来说，其任务可能具有短暂生命周期的特点。此时可以通过修改 Flink 应用程序代码，使其能够向 PushGateway 发送自定义 Metrics；或者利用 Flink 提供的内置 Metric Reporter 功能指向 PushGateway 地址。 当应用程序结束运行之后，这些短期存在的 Metrics 不会立即消失而是继续存在于 PushGateway 上等待被采集[^3]。 #### 安装与配置 Grafana Grafana 主要用于可视化展示收集到的各种性能指标信息。 - **下载与启动 Grafana** 访问镜像站点加速下载速度，并按照常规方式启动服务进程[^2]: ```bash nohup ./bin/grafana-server web & ``` 默认情况下监听于本地 3000 端口上提供 Web UI 接入支持，默认用户名密码均为 admin。 - **连接至 Prometheus 数据源** 登录后进入 Data Sources 页面新增一个名为 "Prometheus" 类型的选择项，填入之前部署好的 Prometheus Server URL 即可建立关联关系。 - **创建仪表板** 导入预先设计好适用于 Flink 监控场景下的模板化面板布局方案（例如 ID 为 11049），这样就能快速获得一组合理的视图组合来进行日常运维管理操作了。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值