MyScale Telemetry：开源版 LangSmith，增强 LLM 应用程序的可观测性

随着LLM应用程序的不断发展和改进，实现强大的可观测性对于确保最佳性能和可靠性至关重要。然而，由于其复杂性和规模，跟踪和存储 LLM 应用程序的运行时事件是具有挑战性的。

为了应对这些挑战，我们很高兴发布 MyScale Telemetry，它与 LangChain Callbacks 集成。

MyScale Telemetry 无缝地捕获基于 LangChain 的 LLM 应用程序的跟踪数据，并将其存储在MyScale 中，使诊断问题、优化性能和理解模型行为变得容易。

你可以将 MyScale Telemetry 看作是 LangSmith 的开源替代品，它提供与 LangSmith 类似的功能，包括跟踪和评估 LLM 应用程序。MyScale Telemetry 通过使用多功能强大的 MyScale SQL向量数据库和广泛使用的 Grafana 仪表板，减少了系统复杂性并提高了数据安全性。此外，由于MyScaleDB 与 ClickHouse 兼容，MyScale Telemetry 可以直接与 ClickHouse 一起使用。

让我们在以下部分中详细查看 MyScale Telemetry 系统的工作原理和用法。

MyScale Telemetry 是如何工作的

将 MyScale Telemetry 与 LangChain 集成是直接的。回调处理程序会自动为你的 LangChain 应用程序中的每个运行时事件创建一个嵌套跟踪，包括：
- `on_chain_start`
- `on_chain_end`
- `on_llm_start`
- `on_llm_end`
- `on_chat_model_start`
- `on_retriever_start`
- `on_retriever_end`
- `on_tool_start`
- `on_tool_end`
- `on_tool_error`
- `on_chain_error`
- `on_retriever_error`
- `on_llm_error`

然后收集的运行时事件数据被组织成跟踪数据，类似于 OpenTelemetry 跟踪数据，并存储在MyScale 数据库中的专用跟踪数据表中。请参阅以下 SQL 脚本，了解此跟踪数据表结构和`CREATE TABLE`语句。

CREATE TABLE your_database_name.your_table_name
(
    `TraceId` String CODEC(ZSTD(1)),
    `SpanId` String CODEC(ZSTD(1)),
    `ParentSpanId` String CODEC(ZSTD(1)),
    `StartTime` DateTime64(9) CODEC(Delta(8), ZSTD(1)),
    `EndTime` DateTime64(9) CODEC(Delta(8), ZSTD(1)),
    `Duration` Int64 CODEC(ZSTD(1)),
    `SpanName` LowCardinality(String) CODEC(ZSTD(1)),
    `SpanKind` LowCardinality(String) CODEC(ZSTD(1)),
    `ServiceName` LowCardinality(String) CODEC(ZSTD(1)),
    `SpanAttributes` Map(LowCardinality(String), String) CODEC(ZSTD(1)),
    `ResourceAttributes` Map(LowCardinality(String), String) CODEC(ZSTD(1)),
    `StatusCode` LowCardinality(String) CODEC(ZSTD(1)),
    `StatusMessage` String CODEC(ZSTD(1)),
    INDEX idx_trace_id TraceId TYPE bloom_filter(0.001) GRANULARITY 1,
    INDEX idx_res_attr_key mapKeys(ResourceAttributes) TYPE bloom_filter(0.01) GRANULARITY 1,