使用 ChatFriendli 和 LangChain 构建高效聊天应用-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142891792

使用 ChatFriendli 和 LangChain 构建高效聊天应用

在如今的高需求 AI 工作负载中，如何优化性能和成本成为开发者关注的焦点。ChatFriendli 提供了一种灵活的方法，可以用于聊天应用中的会话 AI 响应生成，支持同步和异步调用。这篇教程将指导你如何使用 LangChain 集成 ChatFriendli。

引言

在现代聊天应用中，实时响应和可扩展性至关重要。ChatFriendli 为开发者提供强大的工具，结合 LangChain，让构建高效的聊天应用更为轻松。

主要内容

环境设置

首先，确保安装了 langchain_community 和 friendli-client：

pip install -U langchain-community friendli-client

在 Friendli Suite 上创建一个 Personal Access Token，并将其设置为环境变量：

import getpass
import os

os.environ["FRIENDLI_TOKEN"] = getpass.getpass("Friendli Personal Access Token: ")

初始化 ChatFriendli 模型

你可以选择使用的模型，默认模型是 mixtral-8x7b-instruct-v0-1。可在 docs.friendli.ai 查看可用模型。 # 使用API代理服务提高访问稳定性

from langchain_community.chat_models.friendli import ChatFriendli

chat = ChatFriendli(model="llama-2-13b-chat", max_tokens=100, temperature=0)

使用 API

ChatFriendli 支持 ChatModel 的所有方法，包括异步 API。你可以使用 invoke，batch，generate 和 stream 功能。

from langchain_core.messages.human import HumanMessage
from langchain_core.messages.system import SystemMessage

system_message = SystemMessage(content="Answer questions as short as you can.")
human_message = HumanMessage(content="Tell me a joke.")
messages = [system_message, human_message]

response = chat.invoke(messages)
print(response)  # AIMessage(content=" Knock, knock!\nWho's there?\nCows go.\nCows go who?\nMOO!")

异步 API 使用

可以利用异步 API 提高程序效率。

async def main():
    response = await chat.ainvoke(messages)
    print(response)  # AIMessage(content=" Knock, knock!\nWho's there?\nCows go.\nCows go who?\nMOO!")

# 使用 async/await 时的必要语法
import asyncio
asyncio.run(main())