解决AutoDL服务器上使用LLamaFactory微调大模型cuda/pytorch/python/auto-gptq/vllm/版本冲突的问题

最新推荐文章于 2025-05-26 10:09:29 发布
最新推荐文章于 2025-05-26 10:09:29 发布
阅读量1k 收藏 14
点赞数 24
文章标签： python 服务器 pytorch transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42745482/article/details/145277526
版权

概要

` 使用LLamaFactory微调大模型时，很多依赖的版本关系复杂，很容易出现版本冲突的问题，这里主要涉及到cuda/pytorch/python/auto-gptq/vllm/版本的选择，我在查看了很多博客和技术资料后在autoDl上进行多个版本的组合实验，特此记录一下

一、硬件配置

采用租用云算力服务器方式:由于是基于大于1B的大模型需要硬件配置较高,租用算力服务器比如AutoDL算力云一小时也就1-2元左右,主要是图方便,当然也比自购显卡省钱.关于购买云服务网上较多教程,也不复杂,可自行购买不过每次记得要人走关机,不然会继续扣费
AutoDL服务器租用的时候一定要点"查看详情"查看一下红框内的参数选择,参数务必严格选择,若不一样一定要点击"更换"使之一样(这很重要!否则后续会很麻烦).
我选择的是:RTX4090 ,PyTorch 2.1.0 ,Python 3.10(ubuntu22.04) ,Cuda 12.1
` 提示：这里尽量选RTX4090的显卡，同样的版本我在RTX的RTX3080显卡上还是会出现版本不兼容的问题：为此我特地查了一下两个显卡的架构，RTX4090的架构采用了Ampere架构，而采用的是RTX3080Turing架构‌

在这里插入图片描述
在这里插入图片描述

二、环境配置

` 环境配置很容易出现各种版本冲突,以下是已验证的(高,低)两种组合,可以按需要取其一安装.

高配组合:尽量往高版本靠,忽略官方要求.能正常运行(推荐安装).


>        版本组合:cuda12.4/pytorch2
最低0.47元/天 解锁文章
设计如此
关注
【DeepSeek部署实战】DeepSeek-R1-Distill-Qwen-7B：基于vLLM 搭建高性能推理服务器
寻道AI，探索AI无限可能！
03-21 3569
大语言模型的落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeek-R1-Distill-Qwen大语言模型，无论是深度学习新手还是有经验的开发者，都能从中获取实用的知识和技能。# 创建采样参数。temperature 控制生成文本的多样性，top_p 控制核心采样的概率# 初始化 vLLM 推理引擎# 初始化 vLLM 推理引擎。
人工智能_大模型012_租用GPU安装_ChatGLM大模型001_ChatGLM-6B-int4/int8/6B测试_微调_人民币的味道---人工智能工作笔记0148
添柴程序猿的专栏
03-02 517
找到以后,然后下面有镜像,可以选择一下基础镜像,我就选择了一个pytorch选择一个版本就行了,先进去系统再说。可以看到有个(1/13544)等,左边的1就是表示有1个可以用的,可以看到还是非常紧张的。可以看到右边也有,用户名密码,还有SSH,可以把这个点击一下复制,复制下来,我们用本地的。然后走到AutoDL的控制台,找到自己的服务器,然后右边自定义访问有个,点开,然后。点击租用新实例,然后我们,找个便宜的.自己找吧从这里面找可用的,很多不可用,
LLama-Factory 遇到的问题
前沿技术分享，人工智能、大模型技术分享，日常问题记录
02-11 2978
LLaMA-Factory相关问题
AutoDL服务器的镜像版本太高，配置python3.7 tensorflow1.15版本的框架的步骤
qq_39667860的博客
08-09 2708
1.选择一个实例，进入后端界面2. 更新bashrc中的环境变量查看虚拟环境可以看到此时有一个base的虚拟环境但是它的python版本为3.8.10，无法安装tensorflow1.15,所以我们要创建一个新的虚拟环境。
autodl 没有所需要的版本的话…
少年何妨梦摘星，敢挽桑弓射玉衡。 他时若遂凌云志，敢笑黄巢不丈夫。
03-02 1218
连接autodl，但是里面没有所需要的版本，从头开始安装cudaGPU版本的深度学习
python安装auto-gptq时遇到的问题
qq_30594137的博客
04-10 1365
需要在电脑上，安装cuda：https://blog.csdn.net/weixin_46333910/article/details/136242694。auto-gptq安装的时候，会碰到torch.version.cuda=none的情况，导致auto-gptq安装不上。在python环境中，安装auto-gptq的时候，碰到了如下问题，网上也找不到解决方案，记录下。因为我是Apple Silicon M1 芯片，所以要下载对应的cuda驱动。
AutoDL配置cuda环境
weixin_53619959的博客
10-31 1693
只简略写一下当作一个记录。
【DeepSeek微调实践】DeepSeek-R1大模型基于MS-Swift框架部署/推理/微调实践大全
寻道AI，探索AI无限可能！
03-31 6933
MS - Swift 是一款专为大模型部署而精心打造的高效框架，具备出色的兼容性与丰富的功能特性。在模型类型支持上，无论是专注于文本处理的纯文本模型，还是融合文本、图像、音频等多种信息模态的多模态模型，亦或是擅长文本序列分类任务的序列分类模型，MS - Swift 均能为其提供适配的部署环境。另外在功能层面，MS - Swift 框架提供了基于 Gradio 的 Web UI。
没显卡也能微调大模型，手把手ChatGLM-6B微调实例教程，AutoDL云平台部署
最新发布
水滴爬呀爬
05-26 892
本教程详细介绍了在AutoDL云平台上部署ChatGLM-6B大模型并进行微调的全过程。主要内容包括：1）介绍智谱清言开源的ChatGLM-6B双语对话模型；2）创建云实例及配置环境；3）通过学术加速下载代码、模型权重（12GB）和广告数据集；4）安装相关依赖并解决版本兼容问题；5）调整训练参数后运行3小时完成微调；6）进行推理评估和Web测试（需配置SSH隧道访问）；7）对比微调前后模型效果。
【autodl/linux配环境心得：conda/本地配cuda，cudnn，gcc，g++及pytorch心得】
weixin_44151034的博客
09-08 1万+
所以这里，笔者通过在autodl上搭建环境的例子，重新整一遍linux新环境中配置cuda，cudnn，pytorch以及安装好一个github包，并通过git硬调apex版本，来掩饰一下，当国内网不好，或使用的服务器网不好的时候，我们有多少种方法把环境给配好。(下载的如果是压缩包，记得解压)，前提是我们得能搜索到对应的包啊，连包都搜索不到怎么安装(比如我们想安装11.1版本的cuda，我们至少得能搜索到cuda11.1啊，但这里的cudatoolkit连11.1都搜索不到。
报错 - auto-gptq 安装失败
AI工程化、开源分享、文档翻译、代码笔记
01-15 688
auto-gptq 安装失败
autodl安装对应版本的cuda
qq_43349296的博客
01-18 814
使用如下命令搜索可用的cudatoolkit版本。随后使用conda安装。
auto-gptq安装以及不适配软硬件环境可能出现的问题及解决方式
qq_42755230的博客
12-12 4055
auto-gptq安装方式以及可能遇到的问题和解决方法
vLLM框架：使用大模型推理框架
CITY_OF_MO_GY的博客
02-07 3031
支持 CUDA 11.8 及以上（推荐 NVIDIA A100/H100，RTX 4090 等消费级卡需注意显存限制）vLLM 专为高效部署大规模语言模型设计，尤其适合高并发推理场景，关于对vLLM的介绍请看。: 至少 20GB（运行 7B 模型），推荐 40GB+（运行 13B/70B 模型）：确保 CUDA 版本匹配，合理选择量化方案。：通过 OpenAPI 兼容接口快速构建服务。：利用连续批处理、动态块分配提升吞吐。：自动合并多个请求，提升吞吐量。：集成视觉模型实现图文联合推理。
CUDNN更换版本
legend_hua的博客
05-09 2879
下载CUDNN需要的版本文件，并解压解压之后更换文件即可，执行下面命令sudo cp lib* /usr/local/cuda/lib64/sudo cp cudnn.h /usr/local/cuda/include/
安装指南：LLaMA Factory、AutoGPTQ 和 vllm
weixin_41544125的博客
01-16 1525
在本文中，我们将详细介绍如何安装 LLaMA Factory、AutoGPTQ 和 vllm，这些工具在大型语言模型（LLMs）和视觉语言模型（VLMs）的微调和量化中非常有用。我们将逐步指导你完成整个安装过程，确保你能够顺利开始使用这些强大的工具。
llama-factory SFT 系列教程 (四)，lora sft 微调后，使用vllm加速推理
热门推荐
jieshenai的博客
04-20 1万+
首先使用 llama-factory 微调，得到微调后的 lora 权重；由于 vllm 并没有支持所有的模型；故通用的方式是 将 lora 权重和大模型融合成新的大模型，再由 vllm 推理；在使用 alpaca 样式的数据集微调时，llama-factory 框架在训练时，会自动在prompt 添加 template。所以，在微调大模型后，使用vllm推理时，也要给 vllm 传入 封装好的template。
【Yi-34B-Chat-Int4】使用4个2080Ti显卡11G版本，运行Yi-34B模型，5年前老显卡是支持的，可以正常运行，速度 21 words/s，vllm要求算力在7以上的显卡就可以
freewebsys的专栏
12-02 4394
11月24日，零一万物基正式发布并开源微调模型 Yi-34B-Chat，可申请免费商用。同时，零一万物还为开发者提供了 4bit/8bit 量化版模型，Yi-34B-Chat 4bit 量化版模型可以直接在消费级显卡（如RTX3090）上使用。 但是人家没有说是一张就行，经测试需要 42G 显存
autodl没有适合的环境
02-12
### 配置合适的 AutoDL 环境 #### 创建 Python 虚拟环境 为了确保开发环境中软件包的一致性和隔离性，建议先创建一个新的 Conda 环境。对于特定项目的需求可以选择不同的 Python 版本： ```bash conda create -n pytorch python=3.9.18 # 使用 Python 3.9.18 创建名为 'pytorch' 的新环境 [^1] ``` 或者如果偏好其他版本比如 Python 3.8，则可执行如下命令来建立相应环境： ```bash conda create -n py38 python=3.8 # 创建 Python 3.8 的虚拟环境并命名为 'py38' [^3] ``` #### 注册与登录 AutoDL 平台 前往官方网站 https://www.autodl.com/home 完成账户注册流程，并利用学生身份享受可能存在的折扣优惠[^2]。 #### 远程连接 PyCharm 至 AutoDL 实例 一旦拥有可用的计算资源，在 PyCharm 中通过 SSH 和 SFTP 协议实现对远程服务器的有效管理至关重要。具体操作路径为 `File` -> `Settings` -> `Project` -> `Python Interpreter`, 接着点击右上角的小齿轮图标选取 "Add" 来指定远程解释器的位置[^4]。 #### 设置 PyCharm 访问远程终端 完成上述配置之后，开发者可以直接在 IDE 内部启动远程会话，从而简化日常编码工作流。这一步骤同样依赖于之前提到过的 PyCharm 设置菜单中的选项来进行配置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值