使用Aim追踪LangChain执行过程的实战指南

最新推荐文章于 2025-12-20 09:26:15 发布

原创最新推荐文章于 2025-12-20 09:26:15 发布 · 609 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #python

部署运行你感兴趣的模型镜像

在现代AI应用开发中，调试和可视化复杂的LLM（大语言模型）执行过程越来越重要。Aim作为一个强大的开源工具，能够追踪LLM和工具的输入输出，以及代理的操作。本文将深入探讨如何启用和配置Aim回调，以便您可以轻松地调试和检查单个执行，甚至比较多个执行结果。

技术背景介绍

LangChain是一个用于构建包含LLM和其他工具的链式应用框架。而Aim则是为这些链式执行过程提供可视化和调试支持的好帮手。使用Aim，您可以跟踪和记录LangChain的每个模块或代理的执行输入、输出以及序列化信息。

核心原理解析

Aim通过其AimCallbackHandler与LangChain集成，允许开发者实时记录和可视化执行过程。通过设置回调，您可以在LangChain的执行过程中记录和分析每一个步骤。

代码实现演示

在这段代码中，我们将通过三个场景展示如何使用Aim来追踪LangChain执行过程：

安装必要的包

%pip install --upgrade --quiet  aim
%pip install --upgrade --quiet  langchain
%pip install --upgrade --quiet  langchain-openai
%pip install --upgrade --quiet  google-search-results

环境变量配置

import os
from datetime import datetime

os.environ["OPENAI_API_KEY"] = "your-openai-api-key"
os.environ["SERPAPI_API_KEY"] = "your-serpapi-api-key"

导入模块并配置回调

from langchain_community.callbacks import AimCallbackHandler
from langchain_core.callbacks import StdOutCallbackHandler
from langchain_openai import OpenAI

session_group = datetime.now().strftime("%m.%d.%Y_%H.%M.%S")
aim_callback = AimCallbackHandler(
    repo=".",
    experiment_name="scenario 1: OpenAI LLM",
)

callbacks = [StdOutCallbackHandler(), aim_callback]
llm = OpenAI(temperature=0, callbacks=callbacks)

场景1：使用OpenAI LLM

llm_result = llm.generate(["Tell me a joke", "Tell me a poem"] * 3)
aim_callback.flush_tracker(
    langchain_asset=llm,
    experiment_name="scenario 2: Chain with multiple SubChains on multiple generations",
)

场景2：多个子链的链式结构

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = """You are a playwright. Given the title of play, it is your job to write a synopsis for that title.
Title: {title}
Playwright: This is a synopsis for the above play:"""
prompt_template = PromptTemplate(input_variables=["title"], template=template)
synopsis_chain = LLMChain(llm=llm, prompt=prompt_template, callbacks=callbacks)

test_prompts = [
    {"title": "documentary about good video games that push the boundary of game design"},
    {"title": "the phenomenon behind the remarkable speed of cheetahs"},
    {"title": "the best in class mlops tooling"},
]
synopsis_chain.apply(test_prompts)
aim_callback.flush_tracker(
    langchain_asset=synopsis_chain, experiment_name="scenario 3: Agent with Tools"
)

场景3：使用工具的代理

from langchain.agents import AgentType, initialize_agent, load_tools

tools = load_tools(["serpapi", "llm-math"], llm=llm, callbacks=callbacks)
agent = initialize_agent(
    tools,
    llm,
    agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
    callbacks=callbacks,
)
agent.run(
    "Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?"
)
aim_callback.flush_tracker(langchain_asset=agent, reset=False, finish=True)