在autodl平台使用llama-factory微调Qwen1.5-7B

1 部署环境

step 1. 使用24GB显存以上的显卡创建环境

step 2. 创建好环境之后,关闭环境,使用无卡模式开机(有钱可忽略)

step 3. 安装LLaMA-Factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
# conda create -n llama_factory python=3.10
# conda activate llama_factory
cd LLaMA-Factory
pip install -e .[metrics]

step 4. 配置ModelScope下载模型环境

export USE_MODELSCOPE_HUB=1
# 更改模型缓存地址,否则默认会缓存到/root/.cache,导致系统盘爆满
export MODELSCOPE_CACHE=/root/autodl-tmp/models/modelscope
# 学术资源加速
source /etc/network_turbo
pip install modelscope vllm
# 安装vllm时可能导致进程killed,需要降低内存安装
# pip install modelscope vllm --no-cache-dir

step 5. 使用ModelScope下载模型

#模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('qwen/Qwen1.5-7B')

step 6. 切换到 llama-factory 工作目录

cd \root\LLaMA-Factory

step 7. 使用web部署

CUDA_VISIBLE_DEVICES=0 python src/web_demo.py \
    --model_name_or_path /root/autodl-tmp/models/modelscope/qwen/Qwen1___5-7B \
    --template qwen \
    --
### 部署 Llama-Factory 模型于 AutoDL 平台 #### 环境准备 为了在 AutoDL 上成功部署 Llama-Factory 模型,需先完成环境配置工作。这一步骤涉及安装必要的依赖库以及设置运行所需的 Python 虚拟环境[^1]。 ```bash pip install git+https://github.com/PygmalionAI/llama-flash-attn.git pip install transformers datasets accelerate bitsandbytes ``` #### 下载预训练模型 通过 ModelScope 提供的功能可以方便地获取目标大模型文件。以下是具体实现方法: ```python from modelscope import snapshot_download model_dir = snapshot_download('qwen/Qwen1.5-7B') print(f"Model downloaded to {model_dir}") ``` 上述代码片段展示了如何利用 `snapshot_download` 函数来下载 Qwen7B 参数版本模型至指定目录下[^2]。 对于其他类型的模型(如 llama3),也可以采用类似的逻辑进行处理[^3]: ```python import os from modelscope import snapshot_download, AutoModel, AutoTokenizer os.environ['MODELSCOPE_CACHE'] = './models' model_id = 'your_model_id_here' model_dir = snapshot_download(model_id) tokenizer = AutoTokenizer.from_pretrained(model_dir) model = AutoModel.for_pretrained(model_dir).cuda() ``` #### 微调过程概述 借助 LLaMA-Factory 工具集能够高效开展针对特定任务的大规模语言模型参数调整作业。整个流程大致分为以下几个方面[^4]: - 数据预处理:将原始语料转化为适配输入格式; - 构建计算图结构定义前向传播路径; - 设置优化器并执行反向梯度更新迭代直至收敛; 最后,在完成所有训练阶段之后还需要妥善保存最终版权重以便后续应用或者进一步改进之用。 #### Web UI 访问支持 如果希望更直观便捷地操控整个项目进展状况,则可以通过浏览器连接到相应地址查看图形化展示效果。为此需要预先准备好 SSH 客户端软件包以建立安全隧道映射关系。 ```bash wget https://autodl-public.ks3-cn-beijing.ksyuncs.com/tool/AutoDL-SSH-Tools.zip unzip AutoDL-SSH-Tools.zip cd AutoDL-SSH-Tools/ ./start.sh ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值