使用 ClearML 进行 Langchain 实验管理与跟踪

本文链接：https://blog.youkuaiyun.com/qahaj/article/details/146157514

在机器学习和深度学习的开发过程中，实验的有效管理和跟踪一直是个挑战。ClearML 提供了一整套解决方案，帮助开发者高效地管理实验过程。本文将带领您通过 ClearML 的一些核心功能来实现 Langchain 实验的跟踪，包括实验管理、MLOps、数据管理、模型服务和报告生成。

核心原理解析

ClearML 提供了一种自动化的实验管理方式，可以自动跟踪和组织实验运行。通过使用 ClearML 的实验管理器，可以轻松记录实验的各种参数、结果和环境状态，实现透明化并可追溯的ML/DL开发。

代码实现演示

安装和设置

首先，我们需要安装所需的 Python 包并获取 API 凭证：

%pip install --upgrade --quiet clearml
%pip install --upgrade --quiet pandas
%pip install --upgrade --quiet textstat
%pip install --upgrade --quiet spacy
!python -m spacy download en_core_web_sm

设置环境变量以使用 ClearML 和其他 API 服务：

import os

os.environ["CLEARML_API_ACCESS_KEY"] = "your_clearml_api_access_key"
os.environ["CLEARML_API_SECRET_KEY"] = "your_clearml_api_secret_key"

os.environ["OPENAI_API_KEY"] = "your_openai_api_key"
os.environ["SERPAPI_API_KEY"] = "your_serpapi_api_key"

回调设置

通过 ClearMLCallbackHandler，我们可以将生成的实验日志传输至 ClearML 平台，为后续的分析与可视化提供支持：

from langchain_community.callbacks import ClearMLCallbackHandler
from langchain_core.callbacks import StdOutCallbackHandler
from langchain_openai import OpenAI

# 设置 ClearML Callback
clearml_callback = ClearMLCallbackHandler(
    task_type="inference",
    project_name="langchain_callback_demo",
    task_name="llm",
    tags=["test"],
    visualize=True,
    complexity_metrics=True,
    stream_logs=True,
)
callbacks = [StdOutCallbackHandler(), clearml_callback]
# 初始化 OpenAI 模型
llm = OpenAI(temperature=0, callbacks=callbacks)

场景 1：简单的 LLM 生成

此场景中，我们简单地运行 LLM 并将生成的对话记录发送到 ClearML：

# 场景 1 - LLM
llm_result = llm.generate(["Tell me a joke", "Tell me a poem"] * 3)
clearml_callback.flush_tracker(langchain_asset=llm, name="simple_sequential")

场景 2：创建带工具的代理

在更复杂的场景中，我们可以创建带有工具的代理，用于处理更复杂的问题查询：

from langchain.agents import AgentType, initialize_agent, load_tools

# 场景 2 - 带工具的代理
tools = load_tools(["serpapi", "llm-math"], llm=llm, callbacks=callbacks)
agent = initialize_agent(
    tools,
    llm,
    agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
    callbacks=callbacks,
)
agent.run("Who is the wife of the person who sang summer of 69?")
clearml_callback.flush_tracker(
    langchain_asset=agent, name="Agent with Tools", finish=True
)

应用场景分析

ClearML 在管理复杂的AI项目中尤为重要，尤其是当项目需要对多个实验进行比较和优化时。通过对实验进行详细的跟踪和记录，ClearML 可以帮助开发者快速找出影响模型性能的重要因素。

实践建议

确保使用 clearml_callback.flush_tracker 函数时传入唯一的 name 参数，以防止不同实验的参数被覆盖。
使用 clearml_callback.flush_tracker(..., finish=True) 时请注意，这会关闭当前的 ClearML Task，如需继续记录需重新创建一个新的 Callback。
探索 ClearML 提供的其他功能，如数据版本管理、远程执行代理、自动化管道等，以充分利用该工具的强大功能。

结束语：如果遇到问题欢迎在评论区交流。
—END—