使用 Infino 和 LangChain 追踪 OpenAI 模型的性能指标-优快云博客

本文链接：https://blog.youkuaiyun.com/saghthefs/article/details/144679894

老铁们，今天我们来聊聊如何与 Infino 结合 LangChain，追踪 OpenAI 模型的性能指标。这套方案对于处理日志、指标和追踪数据非常实用。通过这种组合，我们可以记录每次调用的请求输入、模型响应、延迟、错误以及所用的 token 数量。这种监控在开发中可以帮我们提前发现问题，并进行相应优化。

技术背景介绍

随着 AI 模型的复杂度增加，我们开始需要一个可靠的方案来监控这些模型的表现。Infino 提供了这样一个解决方案，通过可扩展的遥测存储来管理和分析我们的数据。而 LangChain 则是一个强大的工具，帮助我们轻松调用各类 AI 模型。

原理深度解析

说白了，这个工具链的核心就是把每次 API 调用的相关数据发给 Infino，然后利用它强大的存储和分析能力来实现数据的实时追踪和可视化。使用 InfinoCallbackHandler，我们可以将 OpenAI 和 ChatOpenAI 模型的调用信息发送到 Infino进行记录。

实战代码演示

首先，你需要安装所需的依赖库：

%pip install --upgrade --quiet infinopy
%pip install --upgrade --quiet matplotlib
%pip install --upgrade --quiet tiktoken
%pip install --upgrade --quiet langchain langchain-openai langchain-community

然后，我们启动 Infino 服务器，并初始化客户端：

!docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest
from infinopy import InfinoClient
client = InfinoClient()

读取问题数据集并进行一系列问答操作：

data = """In what country is Normandy located?
When were the Normans in Normandy?
...
"""
questions = data.split("\n")[:10]

from langchain_openai import OpenAI
from langchain_community.callbacks.infino_callback import InfinoCallbackHandler

handler = InfinoCallbackHandler(model_id="test_openai", model_version="0.1")
llm = OpenAI(temperature=0.1)

for question in questions:
    llm_result = llm.generate([question], callbacks=[handler])
    print(llm_result)

优化建议分享

记录问答的同时，我们可以通过 matplotlib 将数据可视化，帮助我们更直观地查看性能瓶颈。建议在生产环境中使用代理服务来提高稳定性。

import json
import datetime as dt
import matplotlib.dates as md
import matplotlib.pyplot as plt

def plot(data, title):
    data = json.loads(data)
    timestamps = [item["time"] for item in data]
    dates = [dt.datetime.fromtimestamp(ts) for ts in timestamps]
    y = [item["value"] for item in data]

    plt.rcParams["figure.figsize"] = [6, 4]
    plt.subplots_adjust(bottom=0.2)
    plt.xticks(rotation=25)
    ax = plt.gca()
    xfmt = md.DateFormatter("%Y-%m-%d %H:%M:%S")
    ax.xaxis.set_major_formatter(xfmt)
    plt.plot(dates, y)
    plt.xlabel("Time")
    plt.ylabel("Value")
    plt.title(title)
    plt.show()

response = client.search_ts("__name__", "latency", 0, int(time.time()))
plot(response.text, "Latency")