autoDL算力云装Xinference[坑与步骤]

autoDL算力云装Xinference的坑与步骤

原创

已于 2025-05-19 15:52:32 修改 · 988 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型 #人工智能

于 2025-05-19 14:22:05 首次发布

租用服务器

先租用一个合适的服务器，建议不要选最新版本，跟我选的一样即可，不然后面会出现ERROR: Could not find a version that satisfies the requirement torch==2.1.2
在这里插入图片描述

问题1：默认装在系统盘爆满

🚫 不要直接使用以下命令

# 创建名为 Xinference 的 Conda 环境，并指定 Python 版本为 3.10.14
conda create -n Xinference python=3.10.14

# 激活该环境
conda activate Xinference

pip install "xinference" -i https://pypi.tuna.tsinghua.edu.cn/simple

会出现系统盘爆满

ERROR: Could not install packages due to an OSError: [Errno 28] No space left on device

✅ 正确方法：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

非常大模型

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

【模型部署】在AutoDL上使用Xinference部署模型

Deadwalk的专栏

01-10

1892

在【模型训练】在AutoDl上使用LLamaFactory进行模型训练中，我们介绍了如何通过SSH建立隧道，进而访问LLamaFactory进行模型训练。本章，我们将介绍如何通过Xinference进行模型推理服务的部署。AutoDL平台正常情况下，不对外提供Http或Https服务，所以需要通过SSH隧道建立连接。AutoDL平台安装引擎会失败，所以本例中改为使用vllm引擎。AutoDL平台默认没有安装Git-LFS，所以通过手动安装。

Xinference安装及部署大模型

vvc_a的博客

08-14

2万+

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用，简单的讲就是部署大模型的应用，至于场景嘛，就是当我们自己使用本地模型的时候，切换起来方便。

参与评论您还未登录，请先登录后发表或查看评论

Python：pytorch指令安装时Could not find a version that satisfies the requirement xxx (from versions: none)

hhd1988的专栏

11-03

1万+

Python：pytorch指令安装时Could not find a version that satisfies the requirement xxx (from versions: none)

【xinference】（8）：在autodl上，使用xinference部署qwen1.5大模型，速度特别快，同时还支持函数调用，测试成功！

freewebsys的专栏

04-02

2201

可用于大语言模型（LLM），语音识别模型，多模态模型等各种模型的推理。通过 Xorbits Inference，你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者，开发者，或是数据科学家，都可以通过 Xorbits Inference 与最前沿的 AI 模型，发掘更多可能。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。然后就可以查看全部支持的模型进行启动。启动Xinference服务。

【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协议，超级棒的方案

freewebsys的专栏

04-02

7734

Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。【xinference】（7）：在autodl上，使用xinference一次部署embedding，rerank，qwen多个大模型，兼容openai的接口协。在autodl上下载项目主要是安装。启动访问之后可以进行安装各种软件了。启动Xinference服务。

AutoDL算力云平台租用教程

junR_980218的博客

03-25

1万+

AutoDL算力云平台租用教程

AutoDL算力云使用教程

weixin_45768644的博客

09-20

4740

AutoDL

AutoDL算力云部署StableDiffusion文生图模型【使用记录】

qq_48926487的博客

04-26

1651

手机号注册AutoDL的用户，新用户送30天会员（租服务器打折），主界面长下面这样：还可以进行学生认证，认证成功默认一年的会员，每年可以认证一次。开始食用之前，最好先向账户内充值一点，金额自己看，初次接触可以建议5元即可，大部分实例服务器每小时价格是一两块。

AutoDL算力云进行yolov5训练流程

qq_52172364的博客

03-25

1852

第二步切换目录到data 新建yaml文件输入内容如下图类似保证train和val即可。之后就可以立即创建了，我们的服务器就启动了，点击第一行JupyterLab。其中best.pt就是我们需要的之后我们可以调用这个pt文件进行后续的操作。训练完成找到runs文件夹 train文件夹里面就有我们的训练结果，我们将yolov5 压缩成压缩包可以拖到服务中去。yolov5的版本最好为7.0 其他的有点问题。将yolov5s.yaml的类别数改为自己的。导入我们的数据集datasets。

AutoDL上Xinference安装

最新发布

qq_41963899的博客

04-16

283

1、安装"xinference[vllm]"，我这里安装Transformers报错，选择vllm引擎。AutoDL上不支持安装docker！2、创建工作目录、配置魔塔社区、环境变量。3、启动xinference。4、隧道穿透，然后输入密码。5、下载千问大模型进行问答。

【大模型研究】（12）：在autodl上，使用xinference部署qwen-chat大模型，支持函数调用，使用openai接口调用成功！xinference是国人开发的项目，大家一起支持下！

freewebsys的专栏

01-30

1707

Xinference 是一个专为大型语言模型（LLM）、语音识别模型和多模态模型设计的开源模型推理平台，支持私有化部署。它提供多种灵活的 API 和接口，包括 RPC、与 OpenAI API 兼容的 RESTful API、CLI 和 WebUI，并集成了 LangChain、LlamaIndex 和 Dify 等第三方开发者工具，便于模型的集成和开发。

【Dify知识库】（12）：在autodl上，使用xinference部署chatglm3，embedding，rerank大模型，并在Dify上配置成功，3类接口xinference都是支持部署的

freewebsys的专栏

01-30

5794

但是 Dify 运行报错，估计下一个版本就会修复了：但是测试接口，都是支持 stream 的：测试接口"messages": [{"role": "user", "content": "北京景点"}],}'

【xinference】（6）：在autodl上，使用xinference部署yi-vl-chat和qwen-vl-chat模型，可以使用openai-client调用成功，进行对比测试，各有特色

freewebsys的专栏

02-06

1682

使用xinference部署yi-vl-chat和qwen-vl-chat模型都可以运行成功，而且各有特色。qwen可以识别具体汽车品牌，但是有些新车是错误的。yi识别比较保守。

PyCharm 调试 Xinference 遇到问题及解决方案

NLP工程化

09-19

2189

本文使用的 PyCharm 2024.2.1 版本，如果使用低版本 PyCharm，那么在调试 Xinference v0.15.1 源码时可能会报错 Connection to Python debugger failed Socket closed。

在本地安装和部署 Xinference，并下载对应的模型

萧鼎的博客

03-04

4357

本文详细介绍了如何在 Windows 和 Linux 上安装和部署 Xinference，并下载对应的模型进行推理。Xinference 提供了 API 接口，支持文本生成、图像分类等多种任务，同时可以通过 GPU 加速或在 Jetson Nano 上运行，适用于边缘计算场景。希望这篇文章能帮助你快速上手 Xinference，如果有任何问题，欢迎交流！

【Python】解决Python报错：ERROR: Could not find a version that satisfies the requirement

科技改变人类，技术成就未来

06-05

1万+

解决Python报错：ERROR: Could not find a version that satisfies the requirement

已解决ERROR: Could not find a version that satisfies the requirement

热门推荐

2401_84204207的博客

04-15

11万+

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

安装Xinference手把手教学，以及各种报错解决。

Ultravioletrays的博客

12-30

9859

Python 3.12 中移除了distutils，导致一些包（如setuptools）无法正常安装或执行。安装或升级setuptools可以解决大部分问题。升级 pip 并安装或重新安装setuptools是解决该问题的主要方法。2.8 重新再安装Xinference解决所有问题！！t=O83A文章提供了在Anaconda虚拟环境中安装GPU版本PyTorch的详细步骤，包括创建环境、确认CUDA版本、从PyTorch官网获取正确的pip安装命令，以及验证安装成功的技巧。

win10部署xinference遇到的问题

m0_45107976的博客

03-25

8457

通过该命令，可一键下载安装。先在macOS上一键部署，中途没有遇到任何障碍，奈何模型太大，mac的内存不够又配了一遍win10，然而在win10环境下，这条命令。

autodl算力云与pycharm

03-10

### 配置 PyCharm 进行 Autodl 算力云开发 #### 选择合适的计费方式和GPU配置在开始之前，需访问 AutoDL 官网并根据项目需求挑选适合的计费模式与GPU规格。通常情况下，性能更强的服务器费用更高，因此应依据实际应用场景做出合理的选择[^3]。 #### 创建SSH连接设置为了使本地安装的 PyCharm 能够顺利连通云端环境，在PyCharm中创建一个新的 SSH Remote Interpreter 是必要的操作。具体步骤如下： 1. 打开 PyCharm 并进入 `File` -> `Settings`(Windows/Linux) 或者 `PyCharm` -> `Preferences`(macOS)，找到 `Project: <your_project_name>` 下面的 `Python Interpreter`； 2. 点击右上角齿轮图标旁边的加号按钮 (+)，接着选择 `Add...`; 3. 在弹窗里选取 `SSH Interpreter`，输入远程主机的信息（IP 地址/域名、用户名），点击下一步继续； 4. 输入私钥文件路径或者直接粘贴密钥内容完成身份验证部分； 5. 设置虚拟环境中 Python 的版本和其他参数；通过上述过程可以成功建立从本地到远端机器的安全通道[^1]。 #### 构建项目结构同步机制为了让开发者能够在本地编辑代码的同时保持线上工作区的一致性，建议启用 PyCharm 提供的 Deployment 功能来实现自动化的文件上传下载功能。这一步骤同样位于 Settings / Preferences 中，按照提示添加 SFTP connection 即可。 ```bash # 使用rsync命令也可以手动同步目录 rsync -avz --delete ./project_folder user@remote_host:/path/to/project/ ``` #### 开始编写和调试代码当一切准备就绪之后就可以像平常一样使用 PyCharm 编写程序了。值得注意的是，由于是在远程执行所以某些依赖项可能需要单独安装于目标机之上。对于深度学习框架而言，一般推荐采用 Conda 来管理包及其版本关系以减少兼容性问题的发生概率[^2]。