设置和使用 Trubrics 的回调处理器

最新推荐文章于 2025-12-06 18:40:48 发布

原创最新推荐文章于 2025-12-06 18:40:48 发布 · 572 阅读

CC 4.0 BY-SA版权

文章标签：

在当今的AI领域中，理解用户如何与语言模型交互并从中获取反馈是优化模型性能的重要步骤。Trubrics平台专注于用户提示和反馈的收集、分析与管理，帮助开发者更好地理解用户行为和模型表现。在这篇文章中，我们将介绍如何安装和使用 TrubricsCallbackHandler 来监控和记录用户交互。

技术背景介绍

Trubrics 是一个LLM用户分析平台，允许开发者收集、分析和管理用户提示与AI模型的反馈。通过整合 Trubrics，你可以轻松跟踪用户输入以及模型输出的效果，从而优化您的AI应用。

核心原理解析

TrubricsCallbackHandler 作为一个回调处理器，可以在每次模型调用时自动记录用户输入和模型响应。这些数据会被发送到 Trubrics 平台进行分析。

代码实现演示

下面是如何设置 TrubricsCallbackHandler 的具体示例代码，包括如何在 LLM 和 Chat 模型中应用它。

安装和设置

首先，确保 Trubrics 和相关库已安装：

%pip install --upgrade --quiet trubrics langchain langchain-community

然后，设置 Trubrics 的认证凭证：

import os

os.environ["TRUBRICS_EMAIL"] = "your-email@example.com"
os.environ["TRUBRICS_PASSWORD"] = "your-password"

示例1: 在 LLM 中使用 TrubricsCallbackHandler

使用 TrubricsCallbackHandler 结合 OpenAI 模型来监控用户输入：

from langchain_openai import OpenAI
from langchain_community.callbacks.trubrics_callback import TrubricsCallbackHandler

# 设置OpenAI API密钥
os.environ["OPENAI_API_KEY"] = "sk-your-openai-api-key"

# 初始化LLM并添加Trubrics回调
llm = OpenAI(callbacks=[TrubricsCallbackHandler()])

# 生成文本
res = llm.generate(["Tell me a joke", "Write me a poem"])

# 打印结果
print("--> GPT's joke: ", res.generations[0][0].text)
print("--> GPT's poem: ", res.generations[1][0].text)

示例2: 在 Chat 模型中使用 TrubricsCallbackHandler

在聊天模型中应用 TrubricsCallbackHandler，以捕获上下文更丰富的对话：

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

# 初始化聊天LLM并配置回调
chat_llm = ChatOpenAI(
    callbacks=[
        TrubricsCallbackHandler(
            project="default",
            tags=["chat model"],
            user_id="user-id-1234",
            some_metadata={"hello": [1, 2]},
        )
    ]
)

# 发起对话
chat_res = chat_llm.invoke(
    [
        SystemMessage(content="Every answer of yours must be about OpenAI."),
        HumanMessage(content="Tell me a joke"),
    ]
)

# 输出聊天结果
print(chat_res.content)