Hui01080的博客

Gradio无法生成外部链接 Could not create share link

微调时，只训练这些Adapter模块，而冻结预训练模型的其他参数。这种方法可以保持预训练模型的泛化能力，同时适应新的任务需求。参数高效微调方法的核心思想是，只调整模型中的一小部分参数，而不是对整个模型进行全量微调。这些方法的优势在于，它们能够显著减少需要训练的参数数量，从而降低计算成本和所需的数据量。Prefix Tuning方法是在模型的输入序列前面添加可训练的前缀向量，微调时只训练这些前缀向量，而模型本身的参数保持不变。微调过程中，超参数的选择和调整至关重要，它们直接影响模型的训练效率和最终表现。