如何为Runnable附加回调

技术背景介绍

在构建复杂的AI工作流时，回调（Callback）是一种强大的工具。它允许我们在特定的事件点上执行自定义逻辑，例如当模型开始或结束推理时记录日志，或在链式执行中捕获中间结果。这种机制在调试和监控模型行为方面尤为重要。

通过将回调绑定到一个 Runnable，如语言模型或自定义链，所有运行时事件都可以触发预定义的回调逻辑。同时，通过方法如 .with_config()，这些回调可以被复用并自动传播到所有子组件中。

核心原理解析

• with_config() 方法: 用于绑定运行时配置，如回调。这些绑定的回调可以传播到链中所有的子组件。
• 回调生命周期:
  • on_chat_model_start: 当语言模型开始推理时调用。
  • on_llm_end: 当语言模型推理完成时调用。
  • on_chain_start 和 on_chain_end: 在链的开始和结束时触发。
• 复用性: 一旦绑定，回调将自动应用于链的每次运行，无需重复指定。

代码实现演示

以下代码示例展示了如何为一个链附加自定义回调，以及查看触发的回调事件。

from typing import Any, Dict, List
from langchain_anthropic import ChatAnthropic
from langchain_core.callbacks import BaseCallbackHandler
from langchain_core.messages import BaseMessage
from langchain_core.outputs import LLMResult
from langchain_core.prompts import ChatPromptTemplate

# 定义自定义回调处理器
class LoggingHandler(BaseCallbackHandler):
    def on_chat_model_start(
        self, serialized: Dict[str, Any], messages: List[List[BaseMessage]], **kwargs
    ) -> None:
        print("Chat model started")

    def on_llm_end(self, response: LLMResult, **kwargs) -> None:
        print(f"Chat model ended, response: {response}")

    def on_chain_start(
        self, serialized: Dict[str, Any], inputs: Dict[str, Any], **kwargs
    ) -> None:
        print(f"Chain {serialized.get('name')} started")

    def on_chain_end(self, outputs: Dict[str, Any], **kwargs) -> None:
        print(f"Chain ended, outputs: {outputs}")

# 初始化回调
callbacks = [LoggingHandler()]

# 定义语言模型
llm = ChatAnthropic(model="claude-3-sonnet-20240229")

# 定义提示模板
prompt = ChatPromptTemplate.from_template("What is 1 + {number}?")

# 构建链
chain = prompt | llm

# 绑定回调到链
chain_with_callbacks = chain.with_config(callbacks=callbacks)

# 执行带有回调的链
result = chain_with_callbacks.invoke({"number": "2"})

print(result)  # 输出模型响应

运行结果

运行上述代码后，您将看到如下的回调触发日志输出：

Chain ChatPromptTemplate started
Chain ended, outputs: messages=[HumanMessage(content='What is 1 + 2?')]
Chat model started
Chat model ended, response: generations=[[ChatGeneration(...)]]
Chain ended, outputs: content='1 + 2 = 3' response_metadata={...}
1 + 2 = 3

通过这些日志信息，我们可以轻松跟踪链和模型的执行状态。

应用场景分析

1. 调试和日志记录:
   • 记录模型输入、输出，以及推理中的重要事件。
2. 监控与统计:
   • 捕获模型的运行时性能指标，如输入/输出的token量。
3. 复杂链的执行跟踪:
   • 当链中有多个子组件时，自动跟踪每个组件的状态。
4. 自定义行为:
   • 在特定事件点执行额外的逻辑，例如动态调整链行为或模型配置。

实践建议

1. 优先复用回调: 当需要重复使用回调时，尽量通过 .with_config() 方法绑定至链，从而减少配置时的冗余。
2. 关注性能: 在高频链调用中，确保回调逻辑足够轻量化，避免阻塞链的执行。
3. 丰富日志信息: 在实际开发中，可将日志存储到文件或系统监控工具中，以便后续分析。
4. 测试覆盖率: 对自定义回调进行充分的测试，确保其行为符合预期，尤其是在边界条件下。

结束语：以上是为 Runnable 附加回调的完整流程。如果过程中有任何疑问，欢迎在评论区交流！