使用Infino监控LangChain与OpenAI模型的运行指标-优快云博客

本文链接：https://blog.youkuaiyun.com/bBADAS/article/details/146220105

在现代应用中，跟踪AI模型的运行情况和性能指标是至关重要的。本文将演示如何使用Infino来监控OpenAI和LangChain模型的调用，包括记录提示输入、响应输出、延迟、错误以及消耗的token数量等信息。

技术背景介绍

Infino是一个可扩展的遥测存储系统，专为日志、度量和追踪而设计。它可以作为独立的可观察性解决方案，或作为您观察堆栈中的存储层。通过与LangChain集成，我们可以在调用OpenAI模型时，实时收集和分析运行时数据。

核心原理解析

通过Infino的遥测功能和LangChain的强大AI模型，我们可以监控和优化模型的性能。Infino的回调机制使得我们能够在API调用过程中，记录关键信息并在事后进行分析。

代码实现演示

我们将通过以下代码演示如何在调用OpenAI模型时使用Infino进行数据记录和图表生成。

# 安装必要的依赖库
%pip install --upgrade --quiet infinopy
%pip install --upgrade --quiet matplotlib
%pip install --upgrade --quiet tiktoken
%pip install --upgrade --quiet langchain langchain-openai langchain-community

from langchain_community.callbacks.infino_callback import InfinoCallbackHandler
import datetime as dt
import json
import time
import matplotlib.dates as md
import matplotlib.pyplot as plt
from infinopy import InfinoClient
from langchain_openai import OpenAI

# 启动Infino服务器
!docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

# 创建Infino客户端实例
client = InfinoClient()

# 示例问题集合
data = """
In what country is Normandy located?
When were the Normans in Normandy?
...  # 省略部分问题
What is the original meaning of the word Norman?
"""
questions = data.split("\n")

# 创建回调处理程序并初始化OpenAI LLM
handler = InfinoCallbackHandler(model_id="test_openai", model_version="0.1", verbose=False)
llm = OpenAI(temperature=0.1)

# 向模型发送问题并记录运行情况
for question in questions[:10]:  # 限制问题数量以节省成本
    print(f"Question: {question}")
    llm_result = llm.generate([question], callbacks=[handler])
    print(f"Response: {llm_result}")

# 使用Matplotlib创建图表
def plot(data, title):
    data = json.loads(data)
    timestamps = [item["time"] for item in data]
    dates = [dt.datetime.fromtimestamp(ts) for ts in timestamps]
    y = [item["value"] for item in data]
    
    plt.rcParams["figure.figsize"] = [6, 4]
    plt.subplots_adjust(bottom=0.2)
    plt.xticks(rotation=25)
    ax = plt.gca()
    xfmt = md.DateFormatter("%Y-%m-%d %H:%M:%S")
    ax.xaxis.set_major_formatter(xfmt)
    
    plt.plot(dates, y)
    plt.xlabel("Time")
    plt.ylabel("Value")
    plt.title(title)
    plt.show()

# 绘制不同指标的图表
response = client.search_ts("__name__", "latency", 0, int(time.time()))
plot(response.text, "Latency")

response = client.search_ts("__name__", "error", 0, int(time.time()))
plot(response.text, "Errors")

# 可以添加更多指标的绘图...

# 最后，停止Infino服务器
!docker rm -f infino-example