使用Infino监控LangChain与OpenAI模型的调用

当我们在复杂的AI应用环境中处理OpenAI和LangChain模型调用时，监控API调用的性能和日志信息是非常重要的。Infino作为一个可扩展的遥测存储，能够有效地处理日志、指标和跟踪信息。本篇文章将介绍如何利用Infino来监控OpenAI和ChatOpenAI模型的调用，包括统计输入的提示（prompt）、输出响应、延迟、错误以及消耗的tokens数量。

技术背景介绍

Infino是一个专为观察性解决方案设计的可扩展遥测存储系统，能够存储和处理日志、指标和跟踪信息。它可以作为一个独立的观察性工具，或作为更大观察性堆栈中的存储层使用。本文将展示如何在调用OpenAI和ChatOpenAI模型时，通过Infino进行详细的调用跟踪。

核心原理解析

Infino通过其回调处理器（InfinoCallbackHandler）捕获和记录调用OpenAI和LangChain模型的详细信息。这些信息包括每次调用的提示和响应、延迟、错误情况和消耗的tokens数量。通过这些数据，可以绘制性能图表，进一步分析API调用的效率和质量。

代码实现演示

首先，我们需要初始化环境并安装必要的依赖：

%pip install --upgrade --quiet  infinopy matplotlib tiktoken langchain langchain-openai langchain-community

然后，我们将开始Infino服务并初始化客户端：

from infinopy import InfinoClient

# 启动Infino Docker服务
!docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

# 创建Infino客户端
client = InfinoClient()

接下来，我们读取一组问题数据，并开始调用LangChain OpenAI进行问答测试：

from langchain_community.callbacks.