ClickHouse GPU监控实践

翟东哥

已于 2024-04-02 13:26:45 修改

阅读量429

点赞数 5

分类专栏： ClickHouse 文章标签： clickhouse gpu算力

于 2024-03-27 13:49:17 首次发布

本文链接：https://blog.youkuaiyun.com/zhaizhai6_6/article/details/137053867

版权

本文介绍了如何在Kubernetes环境中通过dcgm-exporter收集NvidiaGPU的监控数据，然后通过Kafka将数据传递到ClickHouse，构建分布式表和物化视图进行存储和解析，以便后续开发监控图表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前置条件：
通过K8S容器运行Nvida GPU
准备Kafka、Prometheus、ClickHouse

1 安装dcgm-exporter并通过Kafka采集（略）

此步骤可以参考：dcgm-exporter + prometheus + kafka-adapter采集GPU容器监控

2 通过ClickHouse消费Kafka数据

在CH集群中创建Kafka引擎表：（多节点的情况下，仅在一个节点创建即可）

CREATE TABLE gpu_metrics.kafka_dcgm_metrics
(
    `metrics` String
)
ENGINE = Kafka
SETTINGS kafka_broker_list = '10.xx.xx.xx:xxxx,10.xx.xx.xx:xxxx,10.xx.xx.xx:xxxx', kafka_topic_list = 'gpus-info', kafka_group_name = 'gpus-info-1', kafka_format = 'JSONAsString', kafka_num_consumers = 1

查询结果如下：

在这里插入图片描述

3 解析并存储GPU监控数据

创建存储数据表dcgm_metrics：（单节点无需加on cluster xxx）

CREATE TABLE gpu_metrics.dcgm_metrics on cluster test_zz1
(
    `dt` Date DEFAULT toDate(timestamp),

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

翟东哥

关注关注

5
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【农产品价格预测】遗传算法优化支持向量机GA-SVM农产品价格时间序列预测【含Matlab源码 2454期】

订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份；

03-23

594

遗传算法优化支持向量机GA-SVM农产品价格时间序列预测完整代码和数据，方可运行；数据可直接替换，适合小白！可提供运行操作视频！

利用LSTM长短期记忆算法分析猪肉价格未来走势

抱富的博客

09-06

1975

import numpy as np import pandas as pd import matplotlib.pyplot as plt from keras.models import Sequential from keras.layers.core import Dense, Activation, Dropout from keras.layers.recurrent import LSTM from sklearn.preprocessing import MinMaxScaler from

参与评论您还未登录，请先登录后发表或查看评论

机器学习之支持向量机（SVM）算法详解

zdx2585503940的博客

03-18

3460

支持向量机是一种二分类模型，其基本思想是找到一个超平面，将不同类别的数据分隔开，并且使得两类数据点到超平面的距离（即间隔）最大化。SVM不仅可以处理线性可分问题，还可以通过核函数处理非线性可分问题。支持向量机是一种强大且灵活的机器学习算法，适用于多种分类和回归问题。通过核函数，SVM能够处理非线性数据，并在高维空间中表现出色。然而，SVM的训练速度较慢，且对参数选择敏感。在实际应用中，需要根据具体问题选择合适的核函数和参数。希望本文能帮助你更好地理解SVM算法，并为你的机器学习之旅提供帮助！

【SVM时序预测】基于遗传算法优化支持向量机GA-SVM农产品价格时间序列预测附matlab代码

matlab_dingdang的博客

03-26

264

随着大数据、云计算技术的兴起,越来越多的回归模型、分类模型出现在人们的视野中。同时也伴随着越来越多的模型的改进与成熟。这些技术的发展,成熟以及农产品价格数据的出现为农产品价格预测走进研究人员的视野提供了契机,引起了很多研究人员的关注。中国作为农产品生产以及消费大国,农产品的价格不仅关乎着消费者的利益,同时也对于农产品生产的调控有着重要意义。现在的农产品价格预测模型主要是数据挖掘、机器学习领域中的方法,对于时间序列分析的应用较为少见,而且传统的时间序列分析对于价格的有很大的延迟性,导致预测的精度较差。

利用机器学习方法对猪肉价格预测

诗酒趁年华。

04-22

3760

基于机器学习对猪肉价格预测猪肉价格预测问题背景导入数据一、支持向量机二、随机森林三、 MLP神经网络猪肉价格预测 支持向量机回归随机森林回归 MLP神经网络回归问题背景 “猪粮安天下”，生猪自古以来便在国计民生中占据着重要地位，猪肉是我国城乡居民“菜篮子”中不可或缺的产品。但从 2018 年非洲猪瘟爆发以来,生猪产业遭到巨大冲击，生猪市场价格波动频繁，不仅给养殖者造成巨大的经济损失，也给广大消费者造成了很大困扰。2020 年新冠肺炎疫情突袭，再次对逐步恢复的生猪产业产生一定不利影响。（本文指标选

【价格预测】LSTM价格预测模型(生猪价格、多变量-经管)

m0_56120502的博客

05-02

7923

由于我国养猪户大多都是农村散养农民，经济理性程度低，当猪肉价格上涨，农户养猪利润增大，便会扩大生猪养殖，进而造成供给增加，然而随着平衡点的越过，猪肉市场供大于求，又会促使猪肉价格下降，农户养猪热情降低，因而减少生猪供给，进而猪肉价格抬高，农民开始养殖猪肉，这就造成了猪肉价格的周期性波动。最终的拟合情况正如我所预料，因此，我认为有必要作至少18期的多步预测，而为了减少对2019年-2021年上半年异常数据的学习，减少极端值的影响，我认为还需要再多纳入一个季节效应，因此，最终选择21步的多步预测。

python农产品价格预测_【Machine Learning】决策树案例：基于python的商品购买能力预测系统...

weixin_39603117的博客

12-02

1501

fromsklearn.feature_extraction import DictVectorizerimport csvfromsklearn import treefromsklearn import preprocessingfrom sklearn.externals.six import StringIO读取csv文件，将其特征值存储在列表featureList中，将预测的目标值存储在...

机器学习中SVM、BP网络与LSTM在时间序列预测的应用及Matlab实现

最新发布

05-26

内容概要：本文详细介绍了支持向量机(SVM)、BP神经网络和长短期记忆网络(LSTM)三种算法在时间序列预测中的应用及其优势。文中不仅解释了各算法的工作原理，还提供了具体的Matlab实现代码，便于读者快速上手。SVM适用...

基于机器学习SVM与LSTM的商品评论情感分析python源码+训练好的模型数据集（毕业设计）

11-14

基于机器学习SVM与LSTM的商品评论情感分析python源码+训练好的模型数据集（毕业设计）基于机器学习SVM与LSTM的商品评论情感分析python源码+训练好的模型数据集（毕业设计）基于机器学习SVM与LSTM的商品评论情感分析...

【时间序列预测】 Matlab实现基于LSTM-SVM长短期记忆神经网络结合支持向量机时间序列预测的详细项目实例（含完整的程序，GUI设计和代码详解）

04-30

内容概要：本文档详细介绍了基于MATLAB实现的LSTM-SVM结合模型用于时间序列预测的项目实例。项目旨在通过结合LSTM（长短期记忆神经网络）和SVM（支持向量机）的优势，解决传统时间序列预测方法的局限性，提高预测...

基于机器学习SVM与LSTM的商品评论情感分析python源码+数据集+训练好的模型+GUI界面(毕设项目).zip

11-04

基于机器学习SVM与LSTM的商品评论情感分析python源码+数据集+训练好的模型+GUI界面(毕设项目)该项目是个人高分毕业设计项目源码，已获导师指导认可通过，都经过严格调试，确保可以运行！放心下载使用。基于机器...

MATLAB实现股票价格预测源程序代码.rar

05-18

MATLAB实现股票价格预测源程序代码股票价格走势预测及其 MATLAB 实现

基于最近邻算法的股票价格预测matlab代码

06-20

文件列表： NN_FEX ......\Description_of_NN.pdf ......\Example_Data.mat ......\Example_Script_NN.m ......\m_Files ......\.......\nn.m ......\.......\nn_core.m ......\.......\snn.m ......\.......\snn_core.m

Python多种农产品价格预测实训方案V3.0.21

08-03

1.1 项目背景 3 1.2 项目目标 3 1.3 项目数据 4 1.4 项目周期及时间安排 5 1.5 项目难度 5 8.1 项目交付内容要求 7 8.2 项

SVM 预测能繁母猪存栏量

05-11

针对猪肉价格呈现周期性波动的规律，以能繁母猪存栏量和生猪存栏量为研究对象，选取了我国2008年12月到2017年6月猪肉市场的月度数据（仔猪价格、待宰活猪价格、去皮带骨猪肉价格、育肥猪配合饲料价格、猪肉进口量、生猪存栏量、能繁母猪存栏量），将这些数据作为支持向量机的输入信息，建立回归预测模型，同时利用模糊信息粒化方法,以6个月为一个预测区间，对连续两年间能繁母猪存栏量的变动作出预测，具有一定的应用价值。

2019年数维杯国际大学生数学建模C题猪肉价格波动分析求解全过程文档及程序

weixin_43292788的博客

01-04

2235

2019年数维杯国际大学生数学建模C题猪肉价格波动分析。

应用LSTM以及SVM预测股票涨跌、下一个时间段的股票收盘值

qq_42845341的博客

07-22

2503

原题目如上，本文只是针对题目简单应用了LSTM、SVM，未做深入探究。 LSTM代码如下：

【大数据分析毕设之基于python机器学习的农产品价格预测可视化分析系统】

laoman456的博客

11-01

1893

【大数据分析毕设之基于python机器学习的农产品价格预测可视化分析系统-哔哩哔哩】https://b23.tv/rdvouDE

利用支持向量积SVM、bp网络和LSTM网络进行时间序列预测，附有示例，易于使用，适用于不同数据，保证稳定运行

OzdPZNpWs的博客

04-27

592

总之，支持向量机、BP神经网络和LSTM网络是三种具有实用价值的机器学习方法，它们在分类、回归和时间序列预测等问题中具有广泛的应用前景。需要注意的是，以上是一种简要的介绍，对于具体实现的细节和算法原理，可以参考相关的文献和资料，以便更深入地理解和应用这些方法。训练完成之后，我们可以通过将历史数据输入网络，得到网络的预测结果，并与实际数据进行比较，评估网络的预测性能。支持向量积SVM、bp网络，LSTM网络时间序列预测（matlab），可以预测未来数据，有例子，易上手，只要换数据就行，保证正常运行。

ARIMA SARIMA VAR Auto-ARIMA Auto-SARIMA LSTM GRU RNN CNN MLP DNN MLP-LSTM MLP-GRU MLP-RNN MLP-CNN LSTM-ARIMA LSTM-MLP LSTM-CNN GRU-ARIMA GRU-MLP GRU-CNN RNN-ARIMA RNN-MLP RNN-CNN CNN-ARIMA CNN-MLP CNN-LSTM CNN-GRU ARIMA-SVM SARIMA-SVM VAR-SVM Auto-ARIMA-SVM Auto-SARIMA-SVM LSTM-SVM GRU-SVM RNN-SVM CNN-SVM MLP-SVM LSTM-ARIMA-SVM LSTM-MLP-SVM LSTM-CNN-SVM GRU-ARIMA-SVM GRU-MLP-SVM GRU-CNN-SVM RNN-ARIMA-SVM RNN-MLP-SVM RNN-CNN-SVM CNN-ARIMA-SVM CNN-MLP-SVM CNN-LSTM-SVM CNN-GRU-SVM ARIMA-RF SARIMA-RF VAR-RF Auto-ARIMA-RF Auto-SARIMA-RF LSTM-RF GRU-RF RNN-RF CNN-RF MLP-RF LSTM-ARIMA-RF LSTM-MLP-RF LSTM-CNN-RF GRU-ARIMA-RF GRU-MLP-RF GRU-CNN-RF RNN-ARIMA-RF RNN-MLP-RF RNN-CNN-RF CNN-ARIMA-RF CNN-MLP-RF CNN-LSTM-RF CNN-GRU-RF ARIMA-XGBoost SARIMA-XGBoost VAR-XGBoost Auto-ARIMA-XGBoost Auto-SARIMA-XGBoost LSTM-XGBoost GRU-XGBoost RNN-XGBoost CNN-XGBoost MLP-XGBoost LSTM-ARIMA-XGBoost LSTM-MLP-XGBoost LSTM-CNN-XGBoost GRU-ARIMA-XGBoost GRU-MLP-XGBoost GRU-CNN-XGBoost RNN-ARIMA-XGBoost RNN-MLP-XGBoost RNN-CNN-XGBoost CNN-ARIMA-XGBoost CNN-MLP-XGBoost CNN-LSTM-XGBoost CNN-GRU-XGBoost ARIMA-ANN SARIMA-ANN VAR-ANN 上面这100个缩写模型的全称及相关用途功能详细解释

07-15