2025_NIPS_Understanding Linear Probing then Fine-tuning Language Models from NTK Perspective

文章核心总结与翻译

一、主要内容

文章围绕“线性探测后微调（LP-FT）”方法展开，基于神经正切核（NTK）理论分析其在语言模型分类任务中的训练动态。LP-FT通过先优化线性头（LP阶段）再微调整个模型（FT阶段），在分布内（ID）和分布外（OOD）数据上均优于单独的线性探测（LP）和微调（FT）。研究将NTK矩阵分解为预训练有效分量和微调有效分量，发现LP阶段带来的预测准确性提升和线性头范数增大，是减少预训练特征扭曲的关键；同时指出线性头范数增大会影响模型校准，可通过温度缩放修正，并将NTK分析扩展到低秩适配（LoRA）方法，验证了其与标准FT的近似有效性。实验基于RoBERTa-base模型在13个NLP数据集上开展，证实了理论分析的正确性。

二、创新点

1. 基于NTK理论揭示LP-FT的核心机制，证明线性头的预测准确性和范数增大共同减少特征扭曲，呼应并补充了特征扭曲理论。
2. 发现线性头范数会影响NTK矩阵分量平衡，进而主导微调阶段的训练动态，为LP-FT的参数调节提供新视角。
3. 指出线性头范数增大导致的模型校准问题，提出温度缩放的解决方案，完善了LP-FT的实用性。
4. 将NTK分析扩展到LoRA，从理论上验证了LoRA与标准FT在NTK矩阵分量上的相似性，解释了其参数高效微调的有效性。

---

三、关键部分翻译（Markdown格式）

Abstract

线性探测后微调（