启智平台调试 qwen3 4b ms-swift

以上设置完成后，我们点击新建任务。等待服务器创建和分配资源。 资源分配完成后我们看到如下列表，看到资源running状态，后面有一个调试按钮，后面就可以进入代码调试窗体界面了。

 点击任务名称   跳转 

 

访问github失败  加速器开启 

 

由于启智平台权限控制问题在/tmp/pretrainmodel/ 目录下是只读权限，我们在模型推理的时候需要读写模型文件，所以会到导致报错，所以我们把模型复制到/tmp/code/目录下，避免上述的错误，执行如下命令 

cp -r  /tmp/pretrainmodel/Qwen3-4B/ /tmp/code/

SFT(Supervised Fine-Tuning) 是
监督微调

 infer 推理

 

报错   ms-swift 版本不对

升级

ms-swift

pip install 'ms-swift[all]' -U

 SWIFT安装 — swift 3.5.0.dev0 文档

问题 

请介绍一下Qwen3系列模型？

 结果被保存到

cd result/Qwen3-4B/infer_result/20250508-151330.jsonl

模型微调

10分钟在单卡A100上对qwen3-4b进行自我认知微调

22.sh 

CUDA_VISIBLE_DEVICES=0 \
swift sft \
    --model /tmp/code/Qwen3-4B \
    --train_type lora \
    --dataset 'swift/self-cognition#500' \
    --torch_dtype bfloat16 \
    --num_train_epochs 5 \          #训练时间长短
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --system '你是清研心启智能小助手' \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author zhouhui \
    --model_name 清心Robot

终端执行 

bash 22.sh

观测显存使用 大约最高43%    16G 

nvidia-smi

整个过程微慢 稍等 

 

 用时

omnimath 

2024-10-10,北京大学联合多个机构和企业创建了Omni-MATH数据集，是一个大型语言模型在奥林匹克数学竞赛级别的数学推理能力进行评估的综合基准 

快速开始 — swift 3.5.0.dev0 文档

# 22GB
CUDA_VISIBLE_DEVICES=0 \
swift sft \
   --model /tmp/code/Qwen3-4B \
    --train_type lora \
    --dataset '/tmp/code/Omni-MATH/test.jsonl' \  # 修改为本地路径
    --torch_dtype bfloat16 \
    --num_train_epochs 5 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --learning_rate 1e-4 \
    --lora_rank 8 \
    --lora_alpha 32 \
    --target_modules all-linear \
    --gradient_accumulation_steps 16 \
    --eval_steps 50 \
    --save_steps 50 \
    --save_total_limit 2 \
    --logging_steps 5 \
    --max_length 2048 \
    --output_dir output \
    --system '你是清研心启智能小助手.' \
    --warmup_ratio 0.05 \
    --dataloader_num_workers 4 \
    --model_author swift \
    --model_name 清心-robot

 

Omni-MATH

小白必看！启智平台轻松搞定 Qwen3 模型推理与训练 - 哔哩哔哩