大模型 lora 训练后的权重合并

本文将介绍如下内容：

• 一、Lora 合并的环境依赖
• 二、Lora 合并代码实现

一、Lora 合并的环境依赖

autoawq                           0.2.5
peft                              0.14.0
transformers                      4.46.3

二、Lora 合并代码实现

import torch
from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForCausalLM,