解锁Xinference的潜力：如何在本地或分布式集群中部署和使用LLMs

最新推荐文章于 2025-04-03 12:57:59 发布

dsndnwfk

最新推荐文章于 2025-04-03 12:57:59 发布

阅读量780

点赞数 4

文章标签：分布式 python

本文链接：https://blog.youkuaiyun.com/dsndnwfk/article/details/143838960

版权

引言

随着AI技术的飞速发展，越来越多的人开始接触和使用大型语言模型（LLMs）、语音识别模型以及多模态模型。Xinference是一个强大且灵活的库，专为服务这些模型而设计，即使是在笔记本电脑上也能运行。本文将介绍如何使用Xinference库，以及如何将其与LangChain结合使用。

首先，我们需要通过PyPI来安装Xinference。可以在Jupyter Notebook中使用以下命令：

%pip install --upgrade --quiet "xinference[all]"

本地部署：运行xinference。
集群部署：首先，使用xinference-supervisor启动Xinference主管。可以使用选项-p指定端口，-H指定主机，默认端口为9997。然后，在每台服务器上使用xinference-worker启动Xinference工作者。

详细信息可以参考Xinference的README文件。