昇思+昇腾开发板+DeepSeek模型LoRA微调

昇思+昇腾开发板+DeepSeek模型LoRA微调

LoRA微调原理

• 核心思想：冻结预训练模型权重，仅训练橙色的低秩适配矩阵（A/B矩阵）

• 

• 优势：

  • 训练参数量减少至全量微调的0.5%
  • 显存占用降低50%以上
  • 适配器权重仅需保存3MB（原模型5.6GB）

关键配置

config = LoraConfig(
task_type=TaskType.CAUSAL_LM,
target_modules=[“q_proj”, “k_proj”, “v_proj”, “gate_proj”, “up_proj”, “down_proj”],
inference_mode=False,
r=8, # 低秩维度
lora_alpha=32, # 缩放系数
lora_dropout=0.1
)

开启同步

通过mindspore.set_context(pynative_synchronize=True)开启同步，方便在出现问题时进行快速定位。
流程：
环境准备与检查 -> 代码下载 -> 权重下载 -> 其他环境准备 -> 启动运行

代码实现知识点1：

MindSpore在将数据预处理操作应用到数据集时，代码实现会和Hugging Face Tran