2025_NIPS_SharpZO: Hybrid Sharpness-Aware Vision Language Model Prompt Tuning via Forward-Only Passe

文章核心总结与翻译

一、主要内容

该研究针对内存受限、仅支持推理的边缘设备无法通过反向传播（BP）微调视觉语言模型（VLMs）的问题，提出了一种混合的无梯度优化方法SharpZO。该方法仅通过前向传播实现VLMs的高效微调，核心包含两阶段优化流程：

1. 第一阶段（锐度感知CMA-ES）：采用锐度感知的协方差矩阵自适应进化策略（CMA-ES），通过全局搜索平滑损失景观并构建强初始化参数，减少后续优化的方差。
2. 第二阶段（稀疏ZO优化）：基于随机梯度估计（RGE）的稀疏零阶随机梯度下降（ZO-SGD），结合新颖的Z剪枝技术抑制梯度估计中的异常值，实现细粒度局部搜索。

研究通过CLIP模型在11个下游任务上的实验验证，证明SharpZO在准确率和收敛速度上显著优于现有无BP微调方法，平均性能提升达7%，且内存占用更低，适用于边缘设备部署。

二、创新点

1. 提出首个结合锐度感知初始化的零阶（ZO）优化方法，通过两阶段框架降低ZO梯度估计方差，突破现有ZO微调性能瓶颈。
2. 设计锐度感知CMA-ES，在全局搜索阶段平滑损失景观，同时提升模型泛化能力和后续ZO梯度估计的准确性。
3. 提出Z剪枝技术，基于Z分数归一化和梯度信息捕捉模型非线性影响，有效减少高方差ZO设置下的搜索空间维度。
4. 理论分析证明SharpZO的收敛速率优于传统ZO-SGD，且通过实验验证其在不同模型架构（ResNet、ViT）和分布偏移场景下的鲁棒