使用 OpenLIT 对 LLM 应用进行可观测

大规模语言模型（LLM）的可观测性

随着大规模语言模型（LLM）在各个领域的广泛应用，确保这些模型的稳定性和性能变得至关重要。为了实现这一目标，可观测性（Observability）成为了一个关键因素。OpenTelemetry 作为一个开源的可观测性框架，提供了强大的工具来监控和诊断 LLM 的运行状况。通过使用 OpenTelemetry，观测云可以轻松集成多种语言和框架，实现统一的数据收集、处理和实时监控。

可观测性是指系统能够通过其外部输出（如日志、指标和追踪数据）来推断其内部状态的能力。对于 LLM 来说，可观测性可以帮助我们了解模型的推理过程、性能瓶颈以及潜在的错误。通过收集和分析这些数据，我们可以更好地优化模型并确保其在生产环境中的稳定性。

观测云

观测云（ www.guance.com ）是一个提供数据可视化和监控服务的平台。它通常用于收集、处理和展示来自各种数据源的信息，帮助用户实时监控业务指标、系统性能和网络状态等。观测云通过图表、仪表板和报警系统，使得用户能够快速识别和响应数据变化，从而优化业务流程和提高效率。它支持多种数据集成方式，包括API、数据库、日志文件等，并且可以自定义仪表板，以满足不同用户的需求。观测云的界面友好，易于配置和使用，是企业数据监控和管理的有力工具。

OpenTelemetry

OpenTelemetry 是一个由 CNCF 托管的开源项目，旨在提供统一的 API 和 SDK 来收集和传输遥测数据（如日志、指标和追踪）。它支持多种编程语言，并且与各种后端系统兼容。对于 LLM，OpenTelemetry 可以帮助我们：

• 收集详细的追踪数据：通过追踪每个推理请求的执行路径，我们可以识别出哪些部分是性能瓶颈。
• 记录关键指标：例如推理时间、内存使用情况等，这些指标可以帮助我们评估模型的性能。
• 捕获日志信息：当出现问题时，日志可以提供宝贵的调试信息。

LLM 关键信号

在应用程序中使用大规模语言模型（LLM）与传统机器学习（ML）模型有所不同。主要区别在于，LLM 通常通过外部 API 调用访问，而不是在本地或内部运行。因此，捕获事件序列（通过追踪）尤为重要，特别是在基于 RAG（检索增强生成）的应用程序中，LLM 使用前后可能会有多个事件。此外，分析聚合数据（通过指标）可以快速提供关于请求、令牌和成本的概览，这对于优化性能和管理成本非常重要。以下是需要监控的关键信号：

追踪（Tracing）

1、请求元数据：在 LLM 的上下文中，请求元数据非常重要，因为各种参数（如温度和 top_p）会显著影响响应质量和成本。具体需要监控的方面包括：

• Temperature：表示希望从模型输出中获得的创造力或随机性水平。调整此参数会显著影响生成内容的性质。
• top_p：决定模型的选择性，即从最有可能的词汇中选择一定比例的词。较高的 top_p 值意味着模型考虑的词汇范围更广，使文本更加多样化。
• 模型名称或版本：对于跟踪随时间的变化至关重要，因为 LLM 的更新可能会影响性能或响应特性。
• 提示词：发送给 LLM 的确切输入。与内部 ML 模型不同，LLM 的输入可能变化很大，这会影响输出复杂性和成本。

2、响应元数据：由于 LLM 是通过 API 进行交互的，因此跟踪响应的具体细节对于成本管理和质量评估至关重要：

• Token：直接影响成本，并且是响应长度和复杂性的度量。
• Cost：对于预算规划至关重要，因为基于 API 的成本会随着请求数量和每个请求的复杂性而增加。
• 响应详情：类似于提示详情，但从响应的角度提供对模型输出特性的洞察，以及潜在的效率低下或意外成本领域。