快速上手Xorbits Inference (Xinference): 在本地轻松部署和使用LLM

# 引言
在现代人工智能领域，能够在本地机器（如笔记本电脑）上运行大型语言模型（LLM）和多模态模型成为了一项重要能力。Xorbits Inference（Xinference）是一款强大且通用的库，支持多种如chatglm、baichuan、whisper等模型。本文将详细介绍如何使用Xinference与LangChain进行集成，实现对LLM的高效推理能力。

# 主要内容

## 安装
首先，您需要通过PyPI安装Xinference。只需在您的Python环境中运行以下命令：
```shell
%pip install --upgrade --quiet "xinference[all]"

部署Xinference

Xinference支持在本地或分布式集群中部署。

• 本地部署：直接运行xinference命令即可。
• 集群部署：需首先使用xinference-supervisor启动Xinference supervisor。可以使用-p指定端口，-H指定主机。然后，在每个服务器上运行xinference-worker来启动Xinference worker。

有关更多信息，请查阅Xinference的README文件。

使用LangChain Wrapper

为了将Xinference与LangChain结合使用，您需要首先启动模型。可以通过以下命令行界面（CLI）启动：

!xinference launch -n vicuna-v1