大模型面试题剖析：全参微调与LoRA的资源占用解析

全参微调的资源占用计算公式与解读

在深度学习模型的全参微调过程中，资源占用主要来自模型权重参数、优化器状态向量和梯度这几个关键部分，我们来详细看看它们的计算公式和含义。

模型权重参数

模型权重参数的内存占用计算公式为：$总内存=参数数量\times 每个参数占用字节数$ 。以一个参数数量为$1B$（即$10^9$ ），每个参数占用$4$字节的模型为例，其总内存占用为$10^9\times 4字节=4GB$ 。这部分内存占用反映了模型本身的规模大小，是固定存在的开销，就好比搭建一座房子，房子本身的建筑材料所占据的空间是基础的、不可避免的。

优化器状态向量

对于 AdamW 优化器，它需要存储两个状态向量（一阶矩估计$m$和二阶矩估计$v$） ，其内存占用计算公式为：$总内存=参数数量\times 每个状态向量占用字节数\times 状态向量数量$ 。同样以参数数量为$10^9$的模型为例，每个状态向量占用$4$字节，两个状态向量的情况下，总内存为$10^9\times 4字节\times 2=8GB$ 。优化器状态向量的内存占用就像是为了维护房子（模型）的正常运转，需要额外准备的工具和材料所占用的空间。

梯度

梯度的内存占用计算公式是：$总内存=参数数量\times 每个梯度占用字节数$ 。由于每个参数对应一个梯度，且每个梯度占用$4$字节，对于参数数量为$10^9$的模型，梯度占用内存为$10^9\times 4字节=4GB$ 。梯度在模型训练中起着引导参数更新的作用，而它所占用的内存空间就像是在调整房子结构（模型参数）时，记录调整方向和幅度所需要的空间。

综上所述，全参微调的总资源占用为这三部分之和。在上述例子中，总占用就是$4GB+8GB+4GB=16GB$ ，也可以粗略计算为$4NGB$（$N$为模型的参数数量，单位为$B$） 。这些计算公式帮助我们清晰地了解全参微调过程中资源的消耗情况，以便根据实际需求合理安排计算资源。

LoRA 微调的资源占用特点

LoRA 微调，即 Low-Rank Adaptation，是一种高效的模型微调技术 ，其核心原理是通过引入低秩矩阵来模拟模型参数的变化。在 Transformer 模型中，许多权重矩阵存在冗余信息，LoRA 针对需要微调的权重矩阵$W$（假设其维度为$d\times k$ ） ，引入两个低秩矩阵$A$（维度为$d\times r$ ）和$B$（维度为$r\times k$ ） ，其中$r$是远小于$d$和$k$的秩（rank） 。在微调时，不是直接更新权重矩阵$W$，而是通过训练低秩矩阵$A$和$B$，以它们的乘积$A\times B$作为对原始权重矩阵$W$的增量调整，即最终的权重更新量$\Delta W=A\times B$ ，而原始权重矩阵$W$保持冻结状态。

这种方式使得 LoRA 在资源占用上展现出显著优势。一方面，参数量大幅减少。例如对于一个原本参数数量为$1B$（$10^9$ ）的模型进行全参微调时，光是模型权重参数就需要占用大量内存（如前文计算为$4GB$ ） ，而采用 LoRA 微调，如果 LoRA 的可训练参数量仅为$0.1B$ ，假设每个参数同样占用$4$字节，那么模型权重参数的内存占用就变为$0.1\times 10^9\times 4字节=0.4GB$ ，相比全参微调大幅降低。另一方面，优化器状态向量和梯度的内存占用也随之减少。因为只需要为 LoRA 的少量可训练参数计算和存储优化器状态向量以及梯度 。假设采用 AdamW 优化器，对于 LoRA 的$0.1B$可训练参数，每个状态向量占用$4$字节，两个状态向量的总内存为$0.1\times 10^9\times 4字节\times 2=0.8GB$ ；梯度占用内存为$0.1\times 10^9\times 4字节=0.4GB$ ，与全参微调时的优化器状态向量$8GB$和梯度$4GB$相比，占用量大大降低。总的来说，LoRA 微调在资源占用上远远低于全参微调，使得在资源有限的环境下也能对大模型进行有效的微调操作。

影响资源占用的其他因素

在实际生产环境中，模型训练的资源占用情况远比理论计算复杂得多，有诸多因素会对其产生影响。

批处理大小（Batch Size）

批处理大小是训练过程中的一个关键超参数，它对资源占用有着直接且显著的影响。当批处理大小增大时，每次迭代处理的数据量增多，这意味着模型在计算梯度时需要处理更多的数据，从而导致内存占用增加 。例如，在图像识别任务中，若原本批处理大小为 32，模型处理这些图像数据所需的内存相对固定；当批处理大小提升至 128 时，一次性加载和处理的图像数量变为原来的四倍，内存中存储的图像数据、计算过程中的中间结果等都会相应增多，内存占用也就大幅上升。但同时，较大的批处理大小也能提高计算资源（如 GPU）的利用率，因为 GPU 在处理大量数据时能够充分发挥其并行计算的优势，减少计算资源的空闲时间，从这个角度看，又在一定程度上优化了计算资源的使用效率。相反，若批处理大小过小，虽然内存占用会降低，但会导致计算资源利用率低下，因为 GPU 可能无法被充分利用，频繁的小批次计算还会增加额外的开销，如数据加载和参数更新的时间成本，从而影响整体的训练效率。

优化器状态

不同的优化器在内存占用上存在差异 。以常见的随机梯度下降（SGD）优化器和 Adam 优化器为例，SGD 相对简单，内存占用主要来自模型参数本身，因为它只需要存储参数的当前值，以便在每次更新时根据梯度进行调整 ，其内存占用可表示为$O(w)$（$w$表示模型参数）。而 Adam 优化器，由于它结合了动量（Momentum）和均方根传播（RMSprop）的思想，除了存储参数值外，还需要额外存储一阶矩估计（类似动量）和二阶矩估计（用于自适应调整学习率） ，内存占用变为$O(w)+O(w)+O(w)$ ，明显高于 SGD。在实际生产中，如果模型本身参数众多，选择内存占用较高的优化器（如 Adam）可能会使整体资源占用超出硬件的承载能力，导致训练无法正常进行；而在资源相对充足且追求更好的训练效果时，即使优化器内存占用高一些，也可以通过合理配置硬件资源来满足需求。此外，优化器的超参数设置也会间接影响资源占用，例如学习率的调整可能会影响模型的收敛速度和稳定性，进而影响训练过程中的内存和计算资源的使用情况。如果学习率设置过大，模型可能无法收敛，导致长时间的无效计算，浪费计算资源；若学习率过小，模型收敛速度过慢，延长训练时间，同样会增加资源的整体消耗。

总结与建议

全参微调与 LoRA 微调在资源占用和应用场景上各有特点 。全参微调对模型的所有参数进行训练，虽然能够充分挖掘模型潜力，在复杂任务和大规模数据支持的情况下展现出卓越的性能，例如在医学图像分析中，通过全参微调可以让模型更好地学习到图像中的细微特征和疾病模式，提升诊断的准确性；但它对计算资源的需求巨大，需要大量的显存来存储模型参数、优化器状态向量和梯度 ，训练时间也很长，并且容易出现过拟合问题，尤其是在数据量相对模型规模不足时 。

LoRA 微调则通过引入低秩矩阵来模拟模型参数的变化，大幅减少了需要更新的参数数量，从而显著降低了资源占用 。它在硬件门槛较低的情况下也能对大模型进行微调，训练效率高，且泛化性强，减少了过拟合的风险 。比如在个人开发者进行简单的文本生成任务微调时，使用 LoRA 可以在普通电脑上快速完成，并且能够很好地适应新的任务需求 。

因此，在实际应用中，如果计算资源充足，且任务复杂、数据量大，追求模型的极致性能，那么全参微调是一个不错的选择；而当资源有限，需要快速完成模型微调或者进行多任务切换时，LoRA 微调则更为合适 。此外，还可以考虑将两者结合使用，先通过 LoRA 微调快速让模型适应任务的大致方向，初步降低模型在新任务上的损失，之后再根据资源情况，选择性地对部分关键参数或层进行全参微调，进一步优化模型性能 ，以达到更好的效果。