2025_NIPS_Optimal Control for Transformer Architectures: Enhancing Generalization, Robustness and Ef

文章核心总结与创新点

核心内容

本文从最优控制理论视角研究Transformer，提出了一种即插即用的OT-Transformer模型。该模型将Transformer构建为连续时间动态系统，通过最优传输（OT）正则化优化训练目标，在不大幅修改现有架构的前提下，同时提升模型的泛化能力、鲁棒性和参数效率。通过文本生成、情感分析、图像分类等7个跨领域实验验证，OT-Transformer在减少参数数量的同时，持续降低测试损失并提高准确率，且在噪声干扰下表现更稳定。

创新点

1. 首次将最优控制理论应用于Transformer的训练与架构设计，为模型优化提供了系统的理论支撑，摆脱了传统试错法的局限。
2. 提出OT-Transformer模型，采用连续时间动态系统表述，融合OT正则化项，实现与现有Transformer架构的无缝集成，仅需轻微代码修改。
3. 理论上证明了模型具有稳定的前向传播特性，由此推导得出分布鲁棒性和非渐近泛化界，为泛化能力和抗干扰能力提供了严格保证。
4. 实验验证了模型的参数高效性，例如在nanoGPT字符级文本生成任务中，参数减少42%的同时测试损失降低46%，且可扩展至GPT-2等大模型。

---

翻译部分（Markdown格式）

Abstract

我们从最优控制理论的角度研究Transformer，利用连续时间表述的工具，为训练和架构设计提供可落地的见解。该框架在提