快速上手Xorbits Inference (Xinference): 在本地轻松部署和使用LLM

# 引言
在现代人工智能领域，能够在本地机器（如笔记本电脑）上运行大型语言模型（LLM）和多模态模型成为了一项重要能力。Xorbits Inference（Xinference）是一款强大且通用的库，支持多种如chatglm、baichuan、whisper等模型。本文将详细介绍如何使用Xinference与LangChain进行集成，实现对LLM的高效推理能力。

# 主要内容

## 安装
首先，您需要通过PyPI安装Xinference。只需在您的Python环境中运行以下命令：
```shell
%pip install --upgrade --quiet "xinference[all]"

部署Xinference

Xinference支持在本地或分布式集群中部署。

• 本地部署：直接运行xinference命令即可。
• 集群部署：需首先使用xinference-supervisor启动Xinference supervisor。可以使用-p指定端口，-H指定主机。然后，在每个服务器上运行xinference-worker来启动Xinference worker。

有关更多信息，请查阅Xinference的README文件。

使用LangChain Wrapper

为了将Xinference与LangChain结合使用，您需要首先启动模型。可以通过以下命令行界面（CLI）启动：

!xinference launch -n vicuna-v1.3 -f ggmlv3 -q q4_0

# 输出将返回一个模型UID
Model uid: 7167b2b0-2a04-11ee-83f0-d29396a3f064

利用此模型UID，您可以在LangChain中使用Xinference：

from langchain_community.llms import Xinference

llm = Xinference(
    server_url="http://0.0.0.0:9997", # 使用API代理服务提高访问稳定性
    model_uid="7167b2b0-2a04-11ee-83f0-d29396a3f064"
)

response = llm(
    prompt="Q: where can we visit in the capital of France? A:",
    generate_config={"max_tokens": 1024, "stream": True},
)
print(response)

与LLMChain集成

您还可以将Xinference集成到LangChain的LLMChain中，实现更复杂的链式调用。

from langchain.chains import LLMChain
from langchain_core.prompts import PromptTemplate

template = "Where can we visit in the capital of {country}?"
prompt = PromptTemplate.from_template(template)

llm_chain = LLMChain(prompt=prompt, llm=llm)

generated = llm_chain.run(country="France")
print(generated)

常见问题和解决方案

1. 模型启动失败：请确保网络连接正常，并且所需的模型文件已正确下载。
2. 无法连接服务器：检查防火墙设置和端口开放情况，考虑使用代理服务来提高访问稳定性。

总结和进一步学习资源

Xinference提供了在本地运行强大模型的能力，使开发者能够在资源有限的环境中进行深度学习模型的推理。建议学习者查阅以下资源以获得更深入的理解：

• Xinference官方文档
• LangChain官方文档
• 大型语言模型概念指南
• 大型语言模型使用指南

参考资料

1. Xorbits Inference GitHub
2. LangChain GitHub
3. PyPI Xinference

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---