使用Yuan 2.0与LangChain构建智能聊天应用：完整指南_langchain chatopenai 异步封装-优快云博客

本文链接：https://blog.youkuaiyun.com/scaFHIO/article/details/145742228

技术背景介绍

Yuan 2.0 是 IEIT 系统开发的新一代基础大语言模型，包括 Yuan 2.0-102B、Yuan 2.0-51B 和 Yuan 2.0-2B 三种版本。相比之前的 Yuan 1.0，Yuan 2.0 使用了更广泛的高质量预训练数据，并通过指令微调数据集增强了模型的语义理解、数学推理、编程知识等能力。

为了方便开发者集成，Yuan 2.0 提供了兼容 OpenAI API 的服务接口。本文将介绍如何通过 LangChain 的 ChatYuan2 模块，与 Yuan 2.0 进行交互构建聊天系统。

核心原理解析

LangChain 是一个强大的框架，通过抽象聊天模型，可以无缝整合 OpenAI API 和 Yuan 2.0 提供的能力。LangChain 的 ChatYuan2 接口封装了对 Yuan 2.0 的支持，包括消息交互、流式输出、异步调用等，多场景适配开发需求。

代码实现演示

1. 安装依赖

首先确保 Python 环境中安装了 openai 和 langchain 相关库：

pip install --upgrade openai langchain-community langchain-core

2. 初始化 ChatYuan2 模型

以下代码展示了如何通过本地部署的 Yuan 2.0 API 初始化 ChatYuan2：

from langchain_community.chat_models import ChatYuan2

# 初始化 ChatYuan2 模型
chat = ChatYuan2(
    yuan2_api_base="http://127.0.0.1:8001/v1",  # 本地部署的 Yuan 2.0 API 地址
    temperature=1.0,  # 控制生成的随机性
    model_name="yuan2",  # 指定模型
    max_retries=3,  # 设置最大重试次数
    streaming=False,  # 是否启用流式输出
)

3. 基本用法

以下是基本的聊天用法，包含系统消息和用户消息：

from langchain_core.messages import AIMessage, HumanMessage, SystemMessage

# 定义消息
messages = [
    SystemMessage(content="你是一个人工智能助手。"),
    HumanMessage(content="你好，你是谁？"),
]

# 调用 ChatYuan2
response = chat.invoke(messages)
print(response)  # 输出模型回复

4. 启用流式输出

流式输出适用于需要连续交互的场景，例如实时聊天应用：

from langchain_core.callbacks import StreamingStdOutCallbackHandler

# 初始化 ChatYuan2 模型
chat = ChatYuan2(
    yuan2_api_base="http://127.0.0.1:8001/v1",
    temperature=1.0,
    model_name="yuan2",
    max_retries=3,
    streaming=True,  # 启用流式输出
    callbacks=[StreamingStdOutCallbackHandler()],  # 输出流式回调
)

# 定义消息
messages = [
    SystemMessage(content="你是个旅游小助手。"),
    HumanMessage(content="给我介绍一下北京有哪些好玩的。"),
]

# 调用 ChatYuan2 并输出流式结果
chat.invoke(messages)

5. 异步调用

异步方式适合需要高并发的场景，如大型在线服务。

import asyncio
from langchain_core.messages import SystemMessage, HumanMessage

async def async_chat():
    chat = ChatYuan2(
        yuan2_api_base="http://127.0.0.1:8001/v1",
        temperature=1.0,
        model_name="yuan2",
        max_retries=3,
    )
    messages = [
        SystemMessage(content="你是一个人工智能助手。"),
        HumanMessage(content="帮我写一篇关于 AI 的短文。"),
    ]

    # 异步调用
    response = await chat.agenerate(messages)
    print(response)

# 运行异步调用
asyncio.run(async_chat())

6. 使用 Prompt Template

通过 Prompt 模板快速定义结构化输入，实现更灵活的对话：

from langchain_core.prompts.chat import ChatPromptTemplate

async def chat_with_template():
    chat = ChatYuan2(
        yuan2_api_base="http://127.0.0.1:8001/v1",
        temperature=1.0,
        model_name="yuan2",
        max_retries=3,
    )
    
    # 定义 Prompt 模板
    prompt = ChatPromptTemplate.from_messages(
        [
            ("system", "你是一个诗人，擅长写诗。"),
            ("human", "给我写首诗，主题是{theme}。"),
        ]
    )
    
    chain = prompt | chat
    result = await chain.ainvoke({"theme": "明月"})
    print(result)

# 运行 Prompt 模板调用
asyncio.run(chat_with_template())