Xinference本地部署GPU模型：Window + Cuda + pytorch环境

原创 已于 2025-02-20 16:03:06 修改 · 2.3k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #人工智能 #python

于 2025-02-17 10:02:28 首次发布

基本步骤参考Windows本地部署知识库-Xorbits模型平台搭建【Xinference】_xinference windows 布暑-优快云博客

Anoconda的安装步骤及环境配置另外查找，此处不作额外讲解。

本机硬件及系统配置如下：

  • Win11
  • 显卡：RTX2050
  • 显卡驱动：无脑最新版，可向下兼容cuda
  • CUDA: 12.6(不要用太新的，太新的找不到对应的pytorch)
  • Cudnn: 8.9x
  • pytorch: 2.6

参照上面的博客，完成conda环境搭建与xinference安装后，不要急着启动xinference。

先来安装pytorch。

参考原文中pytorch安装指令为：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

我的cuda是12.6版本，根据本机配置改为：

conda install pytorch torchvision torchaudio pytorch-cuda=12.6 -c pytorch -c nvidia

或者前往pytorch官网

最低0.47元/天 解锁文章
nanamxw
关注
使用 Xinference 部署本地模型
洛阳泰山的博客
04-24 9341
是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。
Win11本地部署xinference
1937
05-29 3546
在win11环境下，利用Anaconda的方式安装xinference，在本地运行
在Xinference中解决GGUF模型加载与GPU配置问题
gitblog_01425的博客
08-12 519
在Xinference中解决GGUF模型加载与GPU配置问题 【免费下载链接】inference 通过更改一行代码，您可以在应用程序中用另一个大型语言模型（LLM）替换OpenAI GPT。Xinference赋予您使用任何所需LLM的自由。借助Xinference，您能够在云端、本地、甚至笔记本电脑上运行任何开源语言模...
Windows本地部署Xorbits Inference模型平台【Xinference】亲测
ocean00008899的博客
03-27 1299
简介Xorbits Inference (Xinference)是一个开源平台，用于简化各种AI模型的运行和集成。借助 Xinference，您可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的AI应用。特点多模型：提供50多个开源模型，从文本生成到图像生成，始终保持行业前沿。多硬件：支持多种硬件平台，按需部署。可定制：根据自己的需求和数据进行模型微调，提升模型在特点业务场景下的效果。低门槛：支持一体机/云端部署等多种部署模式，降低运维成本。
Tool 到 MCP：统一的 Agent 工具调用标准(LangGraph+ MCP + KG-RAG)
最新发布
qq_39067449的博客
09-08 1373
本文探讨了AI代理（Agent）开发中的工具调用机制，重点对比了传统Tool工具类与新兴MCP协议的区别。传统Tool工具类高度依赖特定框架（如LangChain、Autogen），存在复用性差、跨框架兼容性弱等问题。而MCP协议通过标准化工具调用接口，实现了工具与框架的解耦，使工具可以独立运行并通过标准协议通信。
在本地安装和部署 Xinference，并下载对应的模型
萧鼎的博客
03-04 4311
本文详细介绍了如何在 Windows 和 Linux 上安装和部署 Xinference，并下载对应的模型进行推理。Xinference 提供了 API 接口，支持文本生成、图像分类等多种任务，同时可以通过 GPU 加速或在 Jetson Nano 上运行，适用于边缘计算场景。希望这篇文章能帮助你快速上手 Xinference，如果有任何问题，欢迎交流！
在Dcoker中部署的Xinference如何限制其Cpu核心数，物理内存及Gpu的占用
当 AI 开始写文章、绘星空，甚至预测未来，您还在旁观吗？这里将剖开人工智能的思考逻辑，拆解 AI 创作的底层密码，也聊聊人工智能里的人文温度。每篇都有让你拍案的细节，快来解锁 AI 时代的神奇世界！
09-04 510
要在 Docker 中限制 Xinference 对。
xinference搭建
liuzhenghua66的博客
04-09 6549
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。帮助文档：https://inference.readthedocs.io/zh-cn/latest/models/index.html 运维 部署 内置模型以及调用示例：https://inference.readthedocs.io/zh-cn/latest
【大模型】使用 Xinference 部署本地模型，从GPU服务器到本地知识库搭建Dify【LLM大语言模型（glm-4-9b-chat）、Rerank 模型、Embedding（向量）模型】
热门推荐
起而行动，方能平定心中的惶恐
09-04 1万+
本文会用到博主写的一些线上脚本，如果搭建者时纯内网的话，可能需要手动压缩镜像，然后解压镜像，才能正常部署本文从GPU服务器获取、到 nvidia-docker的安装、再到Xinference 部署私有化三个模型，最后搭建dify（供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用）、最后再配置实例dify，配置dify实例，整合三个模型，最后实现知识库搭建。
本地部署知识库——大模型框架xinference的本地架设
lxszyj的博客
06-27 6138
断断续续也研究了1个来月了，期间还遭遇了docker被ban的惨剧，导致我一个新手要开始学习这种繁琐的本地开发步骤，目前还未感受到这样做的优点，但是看很多技术大佬都是这样做的，相信有它的道理吧。这一系列陆续会涉及以下内容：1.大模型框架xinference的本地架设2.知识库管理软件fastgpt、dify、maxkb、langchain chatchat、ragflow的架设和使用3.各类大模型的尝试（主要是笔记本性能有限，只能不断尝试最适合自己的）
win10+cuda11.7+pytorch1.12.0安装
weixin_42949850的博客
08-02 4827
pytorch安装
windows10：HRNet+环境配置（pytorch）+网络改动
weixin_43390800的博客
11-30 5192
安装pytorch（CUDA版本：10.0）： conda install pytorch==1.0.0 torchvision==0.2.1 cuda100 -c pytorch 安装HRNet环境： EasyDict==1.7 opencv-python==3.4.1.15 shapely==1.6.4 Cython scipy pandas pyyaml json_tricks scikit-image yacs>=0.1.5 tensorboardX>=1.6 pip install
WIN10+Anaconda （Python3.6）+CUDA10.0+Pytorch1.0.1+Pycharm配置
qq_41915226的博客
10-16 659
又开始采坑啦！ CUDA Toolkit 10.0 download
Windows下安装部署Xinference
slient_love的博客
03-28 3839
chatglm_cpp 可能需要一些 C++ 编译工具，特别是 Windows 系统上。启动，应使用 IP。将下载后的zip文件解压，并打开刚装好的conda。以下两个，打开哪个都可以。删除原先内容，进行以下配置。下载完成之后双击运行.exe文件，然后无脑下一步就行。系统变量，新建以下几条：（根据实际安装路径进行配置）命令，验证是否配置成功。环境创建成功后，需要在新建的xinf环境下安装。可能会报以下错误，原因是启动命令使用的是。安装完成之后，进行系统环境变量配置。命令，我们就可以看到修改后的配置。
图文教程Deepseek本地部署Xinference全精度
gangbanrichuang的博客
03-12 1015
Deepseek本地部署。 原生全精度无降损safetensors模型。 Xinference多模型管理。 三步私有化部署deepseek。
Xinference+Dify本地部署全攻略：知识库搭建与模型配置详解(附一键安装包)
Python_cocola的博客
03-13 3509
Xinference（全称Xorbits Inference）是一个性能强大且功能全面的分布式推理框架，旨在为各种AI模型的运行和集成提供便捷的解决方案。你可以理解为：它是一个超级智能小助手，可以帮你把各种厉害的AI模型轻松部署在本地并运行起来，让它们在你的电脑或者服务器上高效地干活。
Windows本地部署知识库-Xorbits模型平台搭建【Xinference】
Andy O`Connor的博客
09-20 2298
是一个开源平台，用于简化各种AI模型的运行和集成。借助Xinference，您可以使用任何开源LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的AI应用。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2884
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
window11安装cuda12.8的pytorch
03-18
### 安装 PyTorch 并支持 CUDA 12.8 的方法 为了在 Windows 11 上安装支持 CUDA 12.8 的 PyTorch，可以参考以下配置和命令： #### 使用 Conda 进行安装 对于支持 CUDA 12.8 的 PyTorch 版本，可以通过 `conda` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值