LangServe 开源项目教程

LangServe 开源项目教程

langserve LangServe 🦜️🏓 项目地址: https://gitcode.com/gh_mirrors/la/langserve

1、项目介绍

LangServe 是一个帮助开发者将 LangChain 可运行对象和链部署为 REST API 的库。它集成了 FastAPI 和 Pydantic，用于数据验证。LangServe 提供了客户端，可以用于调用部署在服务器上的可运行对象。此外，LangServe 还支持 JavaScript 客户端。

主要特性

• 输入和输出模式自动从 LangChain 对象推断，并在每次 API 调用时强制执行，提供丰富的错误消息。
• 提供 API 文档页面，支持 JSONSchema 和 Swagger。
• 高效的 /invoke、/batch 和 /stream 端点，支持单个服务器上的多个并发请求。
• /stream_log 端点用于流式传输链/代理的所有（或部分）中间步骤。
• 内置（可选）跟踪到 LangSmith，只需添加 API 密钥。
• 使用 FastAPI、Pydantic、uvloop 和 asyncio 等经过实战检验的开源 Python 库构建。

2、项目快速启动

安装

对于客户端和服务器，可以使用以下命令安装：

pip install "langserve[all]"

或者分别安装客户端和服务器：

pip install "langserve[client]"
pip install "langserve[server]"

使用 LangChain CLI 快速启动项目

1. 使用 LangChain CLI 创建新应用：

   langchain app new my-app
   

2. 在 server.py 中定义可运行对象：

   from fastapi import FastAPI
   from langserve import add_routes
   from langchain.chat_models import ChatOpenAI
   
   app = FastAPI(
       title="LangChain Server",
       version="1.0",
       description="A simple api server using Langchain's Runnable interfaces",
   )
   
   add_routes(app, ChatOpenAI(model="gpt-3.5-turbo-0125"), path="/openai")
   

3. 使用 Poetry 添加第三方包：

   poetry add langchain-openai
   

4. 设置相关环境变量：

   export OPENAI_API_KEY="sk-..."
   

5. 启动应用：

   poetry run langchain serve --port=8100
   

3、应用案例和最佳实践

示例应用：OpenAI 聊天模型

以下是一个部署 OpenAI 聊天模型的示例：

from fastapi import FastAPI
from langchain.chat_models import ChatOpenAI
from langserve import add_routes

app = FastAPI(
    title="LangChain Server",
    version="1.0",
    description="A simple api server using Langchain's Runnable interfaces",
)

add_routes(app, ChatOpenAI(model="gpt-3.5-turbo-0125"), path="/openai")

if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="localhost", port=8000)

最佳实践

• 使用 FastAPI 的中间件设置 CORS 头，以便从浏览器调用端点。
• 使用 LangServe 的客户端 SDK 调用 LangServe 服务器，就像调用本地运行的 Runnable 一样。

4、典型生态项目

LangChain

LangChain 是一个用于构建语言模型应用的框架，支持多种语言模型和数据源。LangServe 与 LangChain 紧密集成，提供了部署和调用 LangChain 应用的便捷方式。

FastAPI

FastAPI 是一个现代、快速（高性能）的 Web 框架，用于构建 API。LangServe 使用 FastAPI 作为其核心框架，提供了强大的 API 构建和部署能力。

Pydantic

Pydantic 是一个用于数据验证和设置管理的库。LangServe 使用 Pydantic 进行数据验证，确保 API 调用的输入和输出符合预期。

通过以上模块的介绍和示例，您可以快速上手 LangServe 项目，并了解其在实际应用中的使用方法和最佳实践。

langserve LangServe 🦜️🏓 项目地址: https://gitcode.com/gh_mirrors/la/langserve