EMQX + DeepSeek：使用 LLM 构建可观测性数据智能分析工具

前言

物联网数据的可观测性是通过监控和管理车联网、工业互联网等平台的数据，确保数据在复杂的系统、流程和管道中保持高质量、可用性和可靠性的一种实践。它帮助用户全面了解数据的状态，快速定位和分析问题，提升系统的稳定性和运维效率。

本文将介绍如何结合 EMQX 的可观测性数据与 DeepSeek 的 LLM（大语言模型）服务，利用向量化知识库、自动化代码生成和自然语言处理等 AI 技术，帮助用户快速解决设备数据无法上传、设备断连、连接时延增加、数据转发缓慢等问题。

现有物联网数据可观测性工具的局限

在车联网、工业互联网等场景中，由于网络条件和应用的复杂性等原因，设备断线、订阅消息变慢、消息转发滞后、消息丢失等问题时有发生。如果没有高效的可观测性数据采集、存储和分析系统，运维团队将花费大量时间定位和分析相关故障，导致系统 MTTR（Mean time to recovery）增加、用户体验下降，甚至引发客户投诉和品牌声誉受损等问题。

一般而言，可观测性数据分析依赖于指标（metrics）、跟踪 （tracing）和日志 （logs）三大数据源：

1. 指标（metrics）

   用户可以从基于时间维度的折线图等整体快速判断系统总体上是否有问题。

   • 通过系统的 CPU、内存和网络等指标使用情况来了解在指定时间段是否存在异常情况；
   • 通过 EMQX 系统了解连接、消息发送和转发等情况。

   市场已经有 Prometheus 和 Grafana 等成熟的相关产品，可以非常方便地对这些数据进行存储和展示。

2. 跟踪（tracing）

   了解系统内部的运行状态，知道问题出在哪里。

   通过在系统内部埋点的方式来跟踪系统内部、跨系统之间的调用链关系，以及各组件所消耗的时间。

   目前市场上 Jaeger 等相关产品可以对链路数据进行存储、分析和展示。

3. 日志（logs）

   用于定位故障的准确原因。

   日志是程序在执行过程中通过代码打印的，用于让开发和运维人员了解系统的执行状态，以及执行过程中发生的一些错误和异常情况。

   市场上有 ElasticSearch 等相关成熟的产品可以实现对日志的存储、查询和展示。

目前，市场中的大部分可观测性数据工具都存在以下局限性：

• 功能预置化：大部分功能依赖供应商预设，无法灵活应对未知异常。</