2025_NIPS_Optimization Inspired Few-Shot Adaptation for Large Language Models

文章核心总结与创新点

主要内容

本文针对大语言模型（LLMs）少样本适配问题，提出优化启发式少样本适配方法（OFA）。该方法将LLM前向传播重新解读为预条件梯度下降（PGD）优化过程，通过学习层归一化（LayerNorm）中的逐层预条件矩阵，同时解决现有方法的关键缺陷：参数高效微调（PEFT）的过拟合问题与上下文学习（ICL）的推理开销大、泛化能力有限等问题。通过设计两个目标函数（提升优化效率的步长比目标、增强泛化能力的平坦区域收敛目标），OFA在情感分类、主题分类等多个基准任务上，基于Llama2-7B、Llama3-8B等模型实现4%-10%的性能提升，且保持零样本级别的推理效率。

核心创新点

1. 优化视角重构：首次将LLM少样本适配的前向传播转化为可控的预条件梯度下降过程，利用LayerNorm实现无额外可训练参数的预条件矩阵学习。
2. 双目标函数设计：一是通过步长比最小化收紧收敛界，提升优化效率；二是基于Hutchinson近似间接估计Hessian迹，引导模型收敛到损失函数的平坦区域，增强泛化能力。
3. 低开销高效适配：无需额外训练参数，推理成本与零样本方法一致，同时避免PEFT的过拟合和ICL的 prompt 不稳定性，参数效率显著优于LoRA等主流方法。

---

英文原文翻译（Markdown格式）