【学习心得】Python好库推荐——PEFT

一、PEFT是什么？

        PEFT（Parameter-Efficient Fine-Tuning）是一种在深度学习中进行参数高效微调的技术。这种技术主要应用于大型预训练模型的微调过程中，目的是在保持模型性能的同时减少所需的计算资源和时间。通过PEFT，可以有效地调整模型以适应特定任务或数据集，而无需对整个模型的所有参数进行全面微调。

二、PEFT使用场景

        在计算资源有限的情况下，如边缘设备、移动设备或低成本服务器上运行复杂的深度学习模型。通过PEFT技术，可以显著减少模型微调所需的计算资源和存储空间，使模型能够在资源受限的环境中高效运行。

        使用大型预训练模型（如BERT、GPT系列、T5等）进行特定任务的微调，但面临计算成本高、时间长的问题。PEFT技术可以通过仅微调部分参数（如低秩矩阵、适配器模块、偏置项等）来实现高效微调，大幅减少计算时间和资源消耗。

方法名称	描述	主要特点	应用场景
LoRA	通过引入低秩矩阵来修改预训练模型中的权重