docker-compose Install (dify扩展)Xinference GPU 模式

已于 2025-03-07 10:53:18 修改
阅读量755 收藏 11
点赞数 16
分类专栏： deepseek 文章标签： docker Xinference dify deepseek
于 2025-03-04 13:24:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hanzheng260561728/article/details/145977407
版权

Xinference 前言

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。

前提要求 

  • Linux安装 docker docker-compose 参考
  • Windows 10 ,11 2022 docker docker-compose 参考

一键部署Xinference

  • dify 支持的模型接入
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【大模型】使用 Xinference 部署本地模型，从GPU服务器到本地知识库搭建Dify【LLM大语言模型（glm-4-9b-chat）、Rerank 模型、Embedding（向量）模型】
起而行动，方能平定心中的惶恐
09-04 1万+
本文会用到博主写的一些线上脚本，如果搭建者时纯内网的话，可能需要手动压缩镜像，然后解压镜像，才能正常部署本文从GPU服务器获取、到 nvidia-docker的安装、再到Xinference 部署私有化三个模型，最后搭建dify（供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用）、最后再配置实例dify，配置dify实例，整合三个模型，最后实现知识库搭建。
【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！
freewebsys的专栏
07-06 1522
【代码】【xinference】（15）：在compshare上，使用docker-compose运行xinference和chatgpt-web项目，配置成功！！！
【Windows】Dify + Ollama或Xinference或GPUStack
weixin_54648747的博客
04-21 1704
【Windows】Dify + Ollama或Xinference或GPUStack
docker安装Xinference
zsj777的专栏
04-10 227
ollama 由于没有rerank模型。docker-compose文件。
【亲测】Windows 11通过Docker安装Xinference 平台
08-11 1万+
这里简单介绍一下操作页面，界面很简单，基本都能看懂，需要什么模型，去到对应的模型库里面下载即可。以上就是 Windows11 通过 Docker 部署Xinference 平台的操作步骤。关于上面显卡没办法升级的问题，还没解决，如果有会的小伙伴，欢迎交流。maxkb 对接。
部署 Xinference+ONE-API+FastGPT
weixin_43934379的博客
02-09 1363
服务器准备阿里云购买相应的服务器，测试建议购买抢占式，土豪请忽略这句话检查服务器硬件，主要是显卡。
基于 docker 的 Xinference 全流程部署指南
黎明鱼儿
04-04 985
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。
Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）
消极的人永远是对的，积极的人选择勇往直前
07-05 731
【代码】Qanything-docker-compose yaml文件（内含GPU 配置，备用学习）
Dify 与 Xinference 最佳组合 GPU 环境部署全流程
易迟的专栏
07-11 6015
在前一篇文章RAG 项目对比之后，确定 Dify 目前最合适的 RAG 框架。本次就尝试在本地 GPU 设备上部署 Dify 服务。Dify 是将模型的加载独立出去的，因此需要选择合适的模型加载框架。调研一番之后选择了Xinference支持多种类型的模型，包括 LLM，Embedding, Rerank, Audio 等多种业务场景的模型需求，一个框架全搞定；方便的模型管理能力，提供可视化页面快速部署模型支持直接从 ModelScope 下载模型，避免 huggingface 被墙的问题；
unknown shorthand flag: ‘f’ in -f
wangyiyi1111的博客
02-20 1421
DeepSeek远程连接私有服务器搭建本地知识库时遇到的问题在运行到docker compose -f docker/docker-compose.yml up -d这条指令时，出现问题。
本地如何使用docker部署和使用Xinference
jsyzliuyu的博客
02-24 9669
本地如何使用docker部署和使用Xinference
windows下，用docker部署xinference，为什么老是提示localhost无法访问？
bdbox
09-20 1494
windows下，用docker部署xinference，为什么老是提示localhost无法访问？部署一次过后，打开docker desktop，就可以看到你部署的了，以后直接在这里启动就可以了。二、使用Docker部署（与运行）1）使用CPU的方式：（略）
大模型侧工具安装部署实践
qq_44373268的博客
06-12 3716
这里列出的几款也单纯只是作者平常关注到的，所以可能也不全，请各位见谅！文章从起笔写到这里已经过了三天了，这三天也基本把上文提到的大模型侧工具全部体验了一遍，下面说一下主要结论吧。就这三个工具而言，确实也是各有千秋：从功能丰富度和性能优化的角度综合评估，LM Studio明显更胜一筹。从工具本身使用及模型部署效率来看，Ollama的上手速度会更快，使用会更便捷，效率也会更高。从企业级稳定性和高可用。
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型（文末福利）
瓦罗兰特顶级C位的博客
06-11 5561
近年来，大模型在AI领域崭露头角，成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出，大模型展现出了强大的语言生成、理解和多任务处理能力，预示着智能化转型的新阶段。
xinference docker 部署方式
ling_zhi_xin的博客
03-05 4303
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。docker dify 添加 docker 容器内ip 配置。docker 下载对应的 xinference。docker 运行，注意 路径改成自己的，
Xinference+Dify本地部署全攻略：知识库搭建与模型配置详解(附一键安装包)
Python_cocola的博客
03-13 2293
Xinference（全称Xorbits Inference）是一个性能强大且功能全面的分布式推理框架，旨在为各种AI模型的运行和集成提供便捷的解决方案。你可以理解为：它是一个超级智能小助手，可以帮你把各种厉害的AI模型轻松部署在本地并运行起来，让它们在你的电脑或者服务器上高效地干活。
部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！
2201_75499313的博客
03-14 1万+
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
丨汀、的博客
08-16 7253
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
Dify+Xinference本地部署Embedding和Rerank模型
热门推荐
如云漂泊的博客
12-13 2万+
‌Xinference‌是一个性能强大且功能全面的分布式推理框架，专为大规模模型推理任务设计。它支持大语言模型（LLM）、多模态模型、语音识别模型等多种模型的推理，极大地简化了大模型部署和推理过程‌。主要特点‌一键部署‌：Xinference极大简化了大语言模型、多模态模型和语音识别模型的部署过程，用户只需一个命令即可设置和部署模型‌。‌‌内置前沿模型‌：支持一键下载并部署大量前沿开源模型，如Qwen2、chatglm2等‌。
阿里云服务器使用Docker容器化部署Dify
最新发布
04-28
接下来，按照常规部署流程，步骤可能包括安装Docker和Docker Compose，配置环境，下载Dify的docker-compose文件，修改配置，启动容器，处理端口冲突，验证部署，以及后续维护。 引用1和引用3提到了端口映射的问题，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CIAS

你的鼓励就是我的鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值