LIUCHUAN01的博客

Redis 是一个开源的内存数据结构存储系统。它支持多种数据结构，如字符串、哈希、列表、集合和有序集合等。Redis 不仅仅是一个缓存数据库，它还能灵活地作为消息队列使用！虽然可能不如专业消息队列（如 RabbitMQ、Kafka）功能全面，但在某些特定场景下，尤其是我们的日志场景，它是一个绝佳的选择。由于消息一致性要求不高，丢失一些也无妨，使用 Redis 作为消息队列也是一个不错的选择。

使用DCGM采集数据，最后将数据伪装为Promethues的格式，MetricBeats通过采集Promethues数据采集到显卡数据。有关整个系统架构的部署，您可以回顾前面的文章。今天，我们将继续探讨如何将指标数据通过MetricBeat进行采集并传输到ELK。在现代计算环境中，GPU监控变得越来越重要！但是Metricbeat竟然没有原生支持，经过深入探索，我找到了一个。💥 还不清楚Beat家族的朋友，快回第四篇看一眼哦！完成了上一篇的安装和基本使用之后，我们要做一些。全网都少见相关的攻略！

通过MetricBeat，我们可以方便地收集各种系统和服务的指标，并将其传输到Elasticsearch中。默认情况下，MetricBeat 会启用一些基础的系统指标收集模块（比如 CPU、内存、磁盘等）。，它是Elastic Stack中用来收集和传输系统和服务指标的工具，也是Beat家族中的一员，支持操作系统、容器、云平台等多种数据源。启动MetricBeat后，您可以前往Kibana的Observability模块，查看采集到的系统指标。如图所示，默认启用了系统模块，我们可以根据需要启用其他模块。

Beats是 Elastic Stack 提供的一组轻量级数据采集器，负责从各种来源采集数据，然后将数据发送到或Logstash。这些小工具非常轻巧，占用系统资源少，适用于海量的分布式环境。Beats官方文档地址。

本文介绍了Kibana这个数据可视化工具的基本使用。从索引模式创建、数据探索到仪表盘制作，详细讲解了如何将枯燥的数据转化为直观的图表，帮助用户更好地理解和分析数据。

本章对Logstash（ ELK 中的数据处理工具）进行介绍，包括数据采集、解析和输出。它支持多种输入方式，通过过滤器进行数据转换，并将处理后的数据发送到指定目标，如 Elasticsearch。Logstash 是数据处理的多面手。

从零开始，基于最新的ELK 8.x版本，带你搭建一套日志收集分析系统！