AdaLoraConfig 参数配置解释

AdaLoraConfig 参数配置解释

init_r=16,  # 增加 LoRA 矩阵的初始秩
lora_alpha=32,
target_modules=["q_proj", "v_proj"],
lora_dropout=0.01,
bias="all",
task_type="CAUSAL_LM"

1. init_r

• 解释：init_r 代表 LoRA 矩阵的初始秩。在 LoRA（Low-Rank Adaptation）方法里，会用低秩矩阵来近似全秩矩阵的更新，从而减少可训练参数的数量。初始秩决定了低秩矩阵的大小，init_r 越大，低秩矩阵的表达能力越强，不过可训练参数的数量也会增多。
• 其他选择：
  • 较小的值：像 init_r = 4 或者 init_r = 8 这样较小的值，能大幅减少可训练参数的数量，加快训练速度，但可能会降低模型的表达能力，尤其是在处理复杂任务时。
  • 较大的值：若任务较为复杂，数据量充足，可尝试更大的值，如 init_r = 32