xinference cpu版本docker安装踩坑

最新推荐文章于 2025-06-11 21:04:22 发布
最新推荐文章于 2025-06-11 21:04:22 发布
阅读量420 收藏
点赞数 1
CC 4.0 BY-SA版权
文章标签： docker 容器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/queal/article/details/147632008

在安装 xinference cpu版本之后, 在下载向量模型, 重排序模型的时候踩坑记录

docker run -e XINFERENCE_MODEL_SRC=modelscope -p 9998:9997 docker.1ms.run/xprobe/xinference:v1.3.1-cpu xinference-local -H 0.0.0.0 --log-level debug

官方镜像bug: 需要手动升级

RuntimeError: [address=0.0.0.0:40921, pid=32] Failed to import transformers.models.timm_wrapper.configuration_timm_wrapper because of the following error (look up to see its traceback): cannot import name 'ImageNetInfo' from 'timm.data' (/opt/conda/lib/python3.11/site-packages/timm/data/__init__.py)

进入容器手动安装 timm

docker exec -it ${id} /bin/bash
pip install timm==1.0.13
Dev.Queal
关注
成功解决Failed to import transformers.models.vision_encoder_decoder.modeling_vision_encoder_decoder beca
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
10-20 3118
​ 成功解决Failed to import transformers.models.vision_encoder_decoder.modeling_vision_encoder_decoder because of the following error (look up to see its traceback): 目录 解决问题 解决思路 解决方法 解决问题 RuntimeError: Failed to import transformers.models.vision_encoder_d
本地如何使用docker部署和使用Xinference
jsyzliuyu的博客
02-24 1万+
本地如何使用docker部署和使用Xinference
CPU docker部署xinference
u011788214的专栏
08-16 2006
docker run -d --restart=always -v /mnt/sda/xinference/.xinference:/root/.xinference -v /mnt/sda/xinference/.cache/huggingface:/root/.cache/huggingface -v /mnt/sda/xinference/.cache/modelscope:/root/.cache/modelscope -e XINFERENCE_MODEL_SRC=modelscope -p
docker部署Xinference，Dify调用（dify环境中如何引入rerank模型）
最新发布
AlexOasis的博客
06-11 1819
Xorbits Inference (Xinference) 是一个性能强大且功能全面、开源的、分布式推理框架，，专为大规模模型推理任务设计。支持大语言模型（LLM）、多模态模型、语音识别模型等多种模型的推理。该框架弥补了Ollama不能部署Rerank等模型的问题。Ollama专注 LLM（大型语言模型）。：极大简化了大语言模型、多模态模型和语音识别模型的部署过程。：支持一键下载并部署大量前沿开源模型，特别是rerank模型。可以利用 CPU 和 GPU 进行推理，提升集群吞吐量和降低延迟。
Docker 部署 Xinference
学亮编程手记
03-25 1931
如果需要安装额外的依赖，可以参考。请确保使用 Dockerfile 制作镜像时在 Xinference 项目的根目录下。
【亲测】Windows 11通过Docker安装Xinference 平台
08-11 1万+
这里简单介绍一下操作页面，界面很简单，基本都能看懂，需要什么模型，去到对应的模型库里面下载即可。以上就是 Windows11 通过 Docker 部署Xinference 平台的操作步骤。关于上面显卡没办法升级的问题，还没解决，如果有会的小伙伴，欢迎交流。maxkb 对接。
特别推荐！在modelscope上可以使用免费的CPU和限时的GPU啦，成功安装xinference框架，并部署qwen-1.5大模型，速度7 tokens/s
freewebsys的专栏
05-29 1239
在modelscope上可以使用免费的CPU和限时的GPU啦，成功安装xinference框架，并部署qwen-1.5大模型，速度7 tokens/s 空闲的时候，会被删除掉。数据不会被保存！单次最长10个小时使用！！
LLM | Xinference 安装使用（支持CPU、Metal、CUDA推理和分布式部署）
宇宙有只 AGI 的博客
09-30 4952
也支持多卡模型并行推理
部署快捷、使用简单、推理高效！大模型部署和推理框架 Xinference 来了！
热门推荐
2201_75499313的博客
03-14 1万+
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于各种模型的推理。通过 Xinference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xinference 与最前沿的 AI 模型，发掘更多可能。
有手就行的大语言模型部署-保姆级教程-大模型推理服务框架Xinference一键部署
php源码
08-12 2402
上一篇大语言模型推理服务框架—Ollama介绍了Ollama，Ollama以出色的设计一行命令完成推理框架部署，一行命令完成大模型部署，模型的下载不依赖梯子，速度非常快，大幅提升模型部署效率，同时，当有多卡GPU时，Ollama可以自动将模型分片到各个GPU上，博主使用V100显卡（单卡32G显存）部署llama3 70B（预计需要40G显存），自动完成了显存分配。记得带http://否则会报错。启动模型，包含语言模型、图片模型、语音模型、自定义模型，提供了模型搜索框，基本主流模型都已经收录。
windows下，用docker部署xinference，为什么老是提示localhost无法访问？
bdbox
09-20 1606
windows下，用docker部署xinference，为什么老是提示localhost无法访问？部署一次过后，打开docker desktop，就可以看到你部署的了，以后直接在这里启动就可以了。二、使用Docker部署（与运行）1）使用CPU的方式：（略）
docker 安装 xinference
qq_39287495的博客
09-18 3710
xinferencegithub官网：https://github.com/xorbitsai/inference。
Pytorch的timm库(Timm library)(torchvision.models 的扩展版)(CV为主)
hxxjxw的博客
06-05 6340
Timm library 这个库可以算是torchvision.models 的扩展版，包含的模型以CV的分类任务为主，包含模型的准确率要高不少 https://zhuanlan.zhihu.com/p/377060514
cannot import name ‘ExportOptions‘ from ‘torch.onnx._internal.exporter‘解决方法
weixin_74009895的博客
04-12 834
进程已结束，退出代码为 1。
运行pytorch时出现version `CXXABI_1.3.9‘ not found
try2find的专栏
09-27 860
发现问题：运行bert预测代码时出现如下错误。在命令行执行如下命令。
基于 Docker快速在Ubuntu 系统上部署 Xinference
随笔记录-分享&记忆
03-10 2848
Xorbits Inference（Xinference）是一个性能强大且功能全面的分布式推理框架。可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能
docker安装Xinference
zsj777的专栏
04-10 279
ollama 由于没有rerank模型。docker-compose文件。
【5090d】配置运行和微调大模型所需基础环境【一】
weixin_51711034的博客
04-02 639
解决方法：先验证安装的cuda和torch对不对。5090要用cuda12.8和torch2.6.0+cu128（我装成124了，所以报错）原因：是因为在导入 transformers.integrations.bitsandbytes 时缺少必要的依赖项 triton.ops。
docker部署xinference（大模型本地部署工具）脚本
学亮编程手记
05-11 1092
该脚本通过 Docker 启动一个 Xinference 本地推理服务。主要功能包括： 后台运行：使用 -d 参数让容器在后台运行。 特权与 GPU 支持：通过 --privileged 和 --gpus all 赋予容器特权并启用 GPU 加速。 自动重启：使用 --restart always 确保服务高可用。 数据持久化：通过挂载卷将配置和模型缓存（如 Hugging Face、ModelScope）保存在宿主机上，避免重复下载。 网络访问：将容器的 9997 端口映射到宿主机，支持外部访问。 镜像与
runtimeerror: cuda error: devi
07-28
ce-side assert triggered是由于代码中出现了索引越界导致的错误。这个错误是CUDA报错，具体原因可能是代码中的某个索引超出了合法范围。然而，根据引用\[2\]所述，报错位置的代码并不一定是错误的根本位置，因此需要进一步分析。根据引用\[3\]的问题分析，可能是由于维度范围溢出导致的CUDA错误。为了解决这个问题，可以检查代码中的索引操作，确保索引值在合法范围内。此外，还可以尝试使用调试工具来定位错误的具体位置，并查看相关的报错信息以获取更多的线索。 #### 引用[.reference_title] - *1* *2* [RuntimeError: CUDA error: device-side assert triggered Pytorch框架代码运行错误解决方案(亲测有效！...](https://blog.youkuaiyun.com/weixin_42112050/article/details/120455407)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [「Bug」问题分析 RuntimeError: CUDA error: device-side assert triggered](https://blog.youkuaiyun.com/ViatorSun/article/details/125207465)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^koosearch_v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值