在本地运行大模型：使用Xinference与LangChain无缝集成

本地运行大模型：Xinference与LangChain集成

最新推荐文章于 2025-08-07 17:21:23 发布

原创

最新推荐文章于 2025-08-07 17:21:23 发布 · 2.2k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#langchain #python

在本地运行大模型：使用Xinference与LangChain无缝集成

随着人工智能技术的飞速发展，越来越多的开发者希望在本地计算资源上运行大型语言模型（LLM）和多模态模型。而Xinference正是为此而生的一款强大且灵活的库。本文将向您展示如何将Xinference与LangChain结合使用，以便在您的个人设备上实现这一目标。

1. 引言

Xinference是一个功能强大的库，支持在个人设备上运行包括语言模型、语音识别模型和多模态模型在内的多种模型。无论是用于实验目的还是原型开发，它都提供了一种易于使用的解决方案。本文旨在介绍如何利用Xinference与LangChain集成，以便更好地服务于各种AI模型。

2. 主要内容

2.1 安装与部署

首先，通过PyPI来安装Xinference：

%pip install --upgrade --quiet "xinference[all]"

您可以选择本地部署或者在分布式集群中部署Xinference：

本地部署：只需运行命令xinference即可。
集群部署：首先在一个节点上运行xinference-supervisor，可以使用选项-p指定端口，-H指定主机，

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cgsayuclv

关注关注

56
点赞
踩
23

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

使用 Xinference 部署本地模型

洛阳泰山的博客

04-24

9341

是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。

GreptimeAI + Xinference 联合方案：高效部署并监控你的 LLM 应用

beary_tang的博客

01-24

1529

如何能高效地持续监控 LLM 应用的运行表现，而又不增加额外的开发复杂度？在这些问题上，GreptimeAI 和 Xinference 提供了切实可行的解决方案。

参与评论您还未登录，请先登录后发表或查看评论

1 条评论

ZG&SY 2025.03.03
您好，请问您的model_uid怎么生成的？

[解锁强大的模型推理：使用Xinference与LangChain的结合]

fadbahgd的博客

12-08

1141

Xinference为模型推理提供了灵活而强大的工具，加上LangChain的结合，可以极大简化LLM和多模态模型的集成过程。LangChain文档Xinference GitHub页面。

Xinference 本地运行大模型

liuqianglong_liu的博客

09-12

9657

本文介绍了如何使用 Docker 部署 Xinference 推理框架，并演示了如何启动和运行多种大模型，包括大语言模型、图像生成模型和多模态模型。还讲解了嵌入和重排模型的启动方法，为后续 Dify 调用嵌入和重排模型做为铺垫。

YWGGWY的博客

07-13

3694

解锁本地AI推理的潜力：使用Xinference和LangChain整合大语言模型

nseejrukjhad的博客

09-20

615

Xinference与LangChain的结合，提供了一种高效的方式在本地或集群中运行复杂模型。LangChain官方文档。

使用Xinference与LangChain实现强大的模型推理

yunwu12777的博客

06-19

1342

随着深度学习和机器学习技术的快速发展，如何有效地管理和部署大型语言模型（LLM）成为了一项重要课题。Xinference 是一款强大的推理库，它能够无缝地为LLMs、语音识别模型以及多模态模型提供服务。基于Xorbits Inference技术，用户可以通过简单的命令来快速部署和服务这些模型，无论是在本地机器还是在分布式集群中。

「Java AI实战」LangChain4J接入Xinference本地大模型

OFFTime_we的博客

04-27

1370

随着大语言模型（LLM）的持续火热，LangChain 成为构建智能应用的事实标准。而对于 Java 开发者而言，LangChain4J 则是一把通往 AI 应用开发的新钥匙。它不仅封装了与 OpenAI、HuggingFace、Baidu、Azure 等模型服务的接入能力，更提供了类似 LangChain 的链式调用编排、上下文管理、Agent 机制、工具集成等核心功能，让 Java 开发者也能便捷地构建问答系统、RAG 应用、多轮对话、智能代理等 LLM 应用。

全面指南：Xinference大模型推理框架的部署与使用

黄宝良的博客

05-15

1851

Xinference（Xorbits Inference）是一个专为简化AI模型部署和管理而设计的分布式推理框架，支持多种模型类型和硬件环境。本文详细介绍了Xinference的核心特性、版本演进，并提供了多种部署方式的指南，包括本地部署、Docker-Compose部署和分布式集群部署，涵盖GPU和CPU环境下的配置差异。Xinference支持多模型、分布式推理、异构硬件加速，并提供多种接口和开放生态集成。最新版本v1.4.1引入了多项重要更新，如vLLM分布式推理、SGLang引擎增强和新模型支持。部

本地部署知识库——大模型框架xinference的本地架设

lxszyj的博客

06-27

6138

断断续续也研究了1个来月了，期间还遭遇了docker被ban的惨剧，导致我一个新手要开始学习这种繁琐的本地开发步骤，目前还未感受到这样做的优点，但是看很多技术大佬都是这样做的，相信有它的道理吧。这一系列陆续会涉及以下内容：1.大模型框架xinference的本地架设2.知识库管理软件fastgpt、dify、maxkb、langchain chatchat、ragflow的架设和使用3.各类大模型的尝试（主要是笔记本性能有限，只能不断尝试最适合自己的）

使用Xinference和LangChain轻松部署本地大模型

adfyvatbia的博客

10-06

938

Xinference提供了一种灵活且高效的方式来本地运行复杂的模型，与LangChain的结合则提供了强大的工具链支持。Xinference官方文档LangChain文档。

langchain连接xinference并输出数据

weixin_43654613的博客

10-25

575

结合langchain、xinference、chainlit

【大模型】使用 Xinference 部署本地模型，从GPU服务器到本地知识库搭建Dify【LLM大语言模型（glm-4-9b-chat）、Rerank 模型、Embedding（向量）模型】

最新发布

学亮编程手记

08-07

4103

由于 LLM 在推理时需要加载到内存中的，因此你需要花费硬盘空间来存储它们，并且在执行期间有足够大的 RAM 来加载它们，GGML 支持许多不同的量化策略，每种策略在效率和性能之间提供不同的权衡。打开“Launch Model”标签，搜索到 qwen-chat，选择模型启动的相关参数，然后点击模型卡片左下方的小火箭🚀按钮，就可以部署该模型到 Xinference。Xinference 支持多种推理引擎作为后端，以满足不同场景下部署大模型的需要，下面会分使用场景来介绍一下这三种推理后端，以及他们的使用方法。

使用 Xinference 启动自定义模型：从本地加载与部署指南

Ven%的博客

05-22

4822

本文详细介绍了如何在 Docker 环境中使用 Xinference 框架加载和部署本地自定义模型。首先，Xinference 支持从本地路径加载模型，通过 XINFERENCE_MODEL_SRC 环境变量设置为 local，并将模型目录挂载到容器内。其次，文章提供了改造后的 Docker 命令示例，并解释了关键参数的作用，如模型目录结构、挂载路径和日志级别。此外，还介绍了如何验证模型加载成功、多模型管理、性能调优和常见问题解决方法。通过本文的指导，用户可以轻松部署私有或微调的模型，满足特定业务需求。

使用Xorbits Inference进行本地大模型部署及查询

ppoojjj的博客

07-07

1784

在本文中，我们将展示如何使用Xorbits Inference (简称Xinference) 在本地部署大型语言模型（LLM）。我们将使用Llama 2聊天模型作为示例，但代码适用于所有支持的LLM聊天模型。安装Xinference启动本地模型索引数据并进行查询。

Langchain-Chatchat+Xinference集成部署

╰☆ぷ天然ルo槑ご的博客

08-06

2435

Langchain-Chatchat+Xinference集成部署安装环境：系统：Anolis OS 8.9python版本：Python 3.9.19Langchain-Chatchat版本：0.3.1.3Xinference版本：v0.13.3模型选择：部署内网IP：192.168.18.55安装目录：/data/langchain/chatchat_data。

windows下xinference无法加载本地大模型问题解决

wyh_111的专栏

10-30

3364

为 E:\\XinferenceFiles\\cache\\custom-glm4-chat-pytorch-9b E:\\glm_4_9b_chat 创建的三、命令方式启动模型。6 输入：icacls frpc_windows_amd64_v0.2 /grant Users:(RX)1 在E:\glm_4_9b_chat下创建一个custom-glm4-chat.json配置文件。3 打开inference的命令行，切换到大模型路径下E:\glm_4_9b_chat。

langchain 使用本地部署的模型

01-11

### 如何在LangChain中使用本地部署的语言模型为了实现这一目标，可以采用多种策略来确保本地部署的大规模语言模型（LLM）能被LangChain框架有效利用。具体来说，在已经成功部署了带有API接口的本地大模型之后[^3]，可以通过调整`base.py`文件中的相应部分以适配自定义的LLM API调用逻辑[^4]。 #### 修改LangChain LLM接口配置对于想要集成已有的本地化大型预训练模型至LangChain应用而言，主要工作集中在修改位于`langchain/llms/base.py`内的类定义，使之能够通过HTTP请求与外部服务通信获取预测结果。这通常涉及到重写或扩展现有的LLM基类，以便支持特定于所使用的API端点的数据交换格式和认证机制。 ```python from langchain.llms.base import BaseLLM, LLMResult class CustomLocalModel(BaseLLM): def __init__(self, api_url: str, *args, **kwargs): super().__init__(*args, **kwargs) self.api_url = api_url async def _acall(self, prompt: str) -> LLMResult: response = await httpx.AsyncClient().post( url=self.api_url, json={"prompt": prompt} ) result = response.json() return LLMResult(generations=[result['text']]) ``` 此代码片段展示了如何创建一个新的继承自`BaseLLM`的子类——`CustomLocalModel`，并通过覆盖异步方法 `_acall()` 来发送POST请求给指定URL地址上的RESTful Web Service，从而完成向远程服务器提交输入文本并接收处理后的输出的任务。 #### 利用Xinference简化流程除了手动编写上述类型的封装器外，还可以考虑借助像[Xinference](https://github.com/Xinference/xinference)这样的工具来加速开发过程。它不仅允许用户更便捷地管理多个版本的AI算法及其依赖关系，而且还能无缝对接流行的人工智能平台和服务，包括但不限于Hugging Face Transformers、PyTorch Lightning等[^5]。当结合LangChain一起使用时，开发者只需按照官方指南设置好环境变量以及必要的参数选项即可快速启动项目原型测试阶段的工作；与此同时，得益于两者之间良好的兼容性和互操作性设计原则，后续维护成本也会大大降低。