低硬件资源微调预训练Mamba模型的方法

深入探索Mamba模型架构与应用 - 商品搜索 - 京东

在前面的章节中，我们详细介绍了基于预训练模型Mamba的全参数微调方法，并展示了其在实际应用中的有效性。这种全参数微调确实是一种切实可行的模型训练与预测手段，通过对模型的所有参数进行调整，可以使其更好地适应特定的任务和数据集。然而，微调的方法并非仅限于此。

事实上，除全参数微调外，还存在多种灵活的微调策略，能够在满足我们需求的同时，完成对模型的精细化调整。例如，部分参数微调是一种更加聚焦的调整方式，只针对模型中的特定层或参数进行调整，而保持其他部分不变。这种方法既可以节省计算资源，又能有针对性地提升模型在特定任务上的性能。

此外，还有基于适配器的微调方法，这种方法通过在预训练模型中插入额外的适配器模块，并仅对这些模块进行训练来实现对模型的微调。这种方式能够在保留预训练模型大部分知识的同时，快速适应新的任务。

因此，除全参数微调外，还有多种微调方法可供选择，以便根据实际情况灵活调整模型，以实现最佳性能。在接下来的章节中，我们将深入探讨这些微调方法的具体实现和应用场景。

8.3.1  使用冻结模型参数的微调方法

我们的目标是利用预训练模型来完成模型微调，以实现更高的适应性和性能。一个直观且实用的策略是，在原有模型的基础上，冻结部分底层参数，而集中训练模型的高层参数。

通常模型的底层负责抽取基础且相对“粗糙”的特征，这些特征虽然对理解输入数据至关重要，但在不同的任务和领域具有一定的通用性。相对而言，模型的高层更专注于抽取“细粒度”的特征，这些特征对于特定任务的性能提升尤为关键，如图8-7所示。

图8-7  只在部分层上进行训练

基于这一特性，我们可以采用一种策略：冻结模型的底层参数，仅对高层参数进行训练。这种微调方式不仅可以减少训练过程中的计算负担，还能使模型更快地适应新任务，因为高层参数的调整能够更直接地影响模型的最终输出。

通过这种方法，我们可以在保留预训练模型强大特征抽取能力的同时，使模型更好地适应特定任务的需求。在接下来的实验中，我们将验证这种微调策略的有效性，并探索其对模型性能的具体影响。

在具体实现时，我们首先获取所有层的名称，此时PyTorch给我们提供了打印所有模型名称的函数，代码如下：

# 冻结所有层

for name,param in mamba_model.named_parameters():

    print(name)

param.requires_grad = False

可以看到，在打印层名称的同时，param.requires_grad=False这个函数帮助我们完成了对所有层的冻结。打印结果如下：

embedding.weight
layers.0.mixer.A_log
layers.0.mixer.D
.