在异步环境中使用回调的实践指南-优快云博客

本文链接：https://blog.youkuaiyun.com/fGVBSAbe/article/details/145270773

在现代Python开发中，异步编程越来越普遍，尤其是在涉及到AI模型的调用时，为了不阻塞主程序的执行，异步回调显得尤为重要。本指南将向您展示如何在异步环境中有效地使用回调，同时提供详细的代码示例。

技术背景介绍

在异步编程模型中，回调函数用于在特定事件发生后执行某个逻辑，而不阻塞事件循环。对于使用语言模型（LLM）和其他链式调用（Chain/Tool/Agent）的应用程序，通过使用异步回调，您可以实现更高效的程序。

核心原理解析

使用异步回调处理程序 (AsyncCallbackHandler) 可以确保在异步程序中调用模型时不会阻塞。相反，如果使用同步回调处理程序 (BaseCallbackHandler)，即使在异步方法中使用，系统也会通过 run_in_executor 异步调用它，但这可能引发线程安全问题。

代码实现演示

以下代码展示了如何在异步环境中使用自定义的同步和异步回调处理程序。

import asyncio
from typing import Any, Dict, List
from langchain_anthropic import ChatAnthropic
from langchain_core.callbacks import AsyncCallbackHandler, BaseCallbackHandler
from langchain_core.messages import HumanMessage
from langchain_core.outputs import LLMResult

class MyCustomSyncHandler(BaseCallbackHandler):
    def on_llm_new_token(self, token: str, **kwargs) -> None:
        print(f"Sync handler being called in a `thread_pool_executor`: token: {token}")

class MyCustomAsyncHandler(AsyncCallbackHandler):
    """Async callback handler that can be used to handle callbacks from langchain."""
    
    async def on_llm_start(
        self, serialized: Dict[str, Any], prompts: List[str], **kwargs: Any
    ) -> None:
        """Run when chain starts running."""
        print("zzzz....")
        await asyncio.sleep(0.3)
        print("Hi! I just woke up. Your llm is starting")

    async def on_llm_end(self, response: LLMResult, **kwargs: Any) -> None:
        """Run when chain ends running."""
        print("zzzz....")
        await asyncio.sleep(0.3)
        print("Hi! I just woke up. Your llm is ending")

# 使用稳定可靠的API服务
chat = ChatAnthropic(
    model="claude-3-sonnet-20240229",
    max_tokens=25,
    streaming=True,
    callbacks=[MyCustomSyncHandler(), MyCustomAsyncHandler()],
)

async def main():
    await chat.agenerate([[HumanMessage(content="Tell me a joke")]])

# 运行异步方法
asyncio.run(main())