听我说，Transformer它就是个支持向量机-优快云博客

编辑 | 机器之心

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

点击进入→自动驾驶之心【Transformer】技术交流群

本文只做学术分享，如有侵权，联系删文

SVM is all you need，支持向量机永不过时。

Transformer 是一个支持向量机（SVM）一种新型理论在学界引发了人们的讨论。

上周末，一篇来自宾夕法尼亚大学、加州大学河滨分校的论文试图研究大模型基础 Transformer 结构的原理，其在注意力层的优化几何与将最优输入 token 与非最优 token 分开的硬边界 SVM 问题之间建立了形式等价。

在 hackernews 上作者表示，这种理论解决了 SVM 将每个输入序列中的「好」标记与「坏」token 分开的问题。该 SVM 作为一个性能优异的 token 选择器，与传统为输入分配 0-1 标签的 SVM 本质上不同。

这种理论也解释了注意力如何通过 softmax 引起稀疏性：落在 SVM 决策边界错误一侧的「坏」token 被 softmax 函数抑制，而「好」token 是那些最终具有非零 softmax 概率的 token。还值得一提的是，这个 SVM 源于 softmax 的指数性质。

论文上传到 arXiv 上面之后，人们纷纷发表意见，有人表示：AI 研究的方向真是螺旋上升，难道又要绕回去了？

绕了一圈，支持向量机还是没有过时。

自经典论文《Attention is All You Need》问世以来，Transformer 架构已为自然语言处理（NLP）领域带来了革命性进展。Transformer 中的注意力层接受一系列输入 token X，并通过计算评估 token 之间的相关性，其中 (K, Q) 是可训练的 key-query 参数，最终有效捕获远程依赖关系。

现在，一篇名为《Transformers as Support Vector Machines》的新论文在自注意力的优化几何和 hard-margin SVM 问题之间建立了一种形式等价，使用 token 对的外积线性约束将最优输入 token 与非最优 token 分开。

论文链接：https://arxiv.org/pdf/2308.16898.pdf

这种形式等价建立在 Davoud Ataee Tarzanagh 等人的论文《Max-Margin Token Selection in Attention Mechanism》的基础上，它能够描述通过梯度下降进行优化的 1 层 transformer 的隐式偏差（implicit bias）：

(1) 优化由 (K, Q) 参数化的注意力层，通过消失正则化（vanishing regularization），收敛到一种 SVM 解决方案，其中最小化组合参数的核范数（nuclear norm）。相反，直接通过 W 进行参数化可以最小化 Frobenius 范数 SVM 目标。该论文描述了这种收敛，并强调它可以发生在局部最优方向而不是全局最优方向。

(2) 该论文还证明了 W 参数化在适当的几何条件下梯度下降的局部 / 全局方向收敛。重要的是，过度参数化通过确保 SVM 问题的可行性和保证没有驻点（stationary points）的良性优化环境来催化全局收敛。

(3) 虽然该研究的理论主要适用于线性预测头，但研究团队提出了一种更通用的 SVM 等价物，可以预测具有非线性头 / MLP 的 1 层 transformer 的隐式偏差。

总的来说，该研究的结果适用于一般数据集，可以扩展到交叉注意力层，并且研究结论的实际有效性已经通过彻底的数值实验得到了验证。该研究建立一种新的研究视角，将多层 transformer 看作分离和选择最佳 token 的 SVM 层次结构。

具体来说，给定长度为 T，嵌入维度为 d 的输入序列，该研究分析核心交叉注意力和自注意力模型：

其中，K、Q、V 分别是可训练的键、查询、值矩阵，；S (・) 表示 softmax 非线性，它逐行应用于。该研究假设将 Z 的第一个 token（用 z 表示）用于预测。具体来说，给定一个训练数据集，，，该研究使用递减损失函数进行最小化：

这里，h (・) ：是包含值权重 V 的预测头。在这种表述中，模型 f (・) 精确地表示了一个单层 transformer，其中注意力层之后是一个 MLP。作者通过设置来恢复 (2) 中的自注意力，其中 x_i 表示序列 X_i 的第一个 token。由于 softmax 运算的非线性性质，它给优化带来了巨大挑战。即使预测头是固定和线性的，该问题也是非凸和非线性的。在本研究中，作者将重点放在优化注意力权重（K、Q 或 W）上，并克服这些挑战，从而建立 SVM 的基本等价性。

论文结构如下：第 2 章介绍了自注意力和优化的初步知识；第 3 章分析了自注意力的优化几何，表明注意力参数 RP 收敛到最大边际解；第 4 章和第 5 章分别介绍了全局和局部梯度下降分析，表明 key-query 变量 W 向 (Att-SVM) 的解决方案收敛；第 6 章提供了在非线性预测头和广义 SVM 等价性方面的结果；第 7 章将理论扩展到顺序预测和因果预测；第 8 章讨论了相关文献。最后，第 9 章进行总结，提出开放性问题和未来研究方向。

论文的主要内容如下：

注意力层的内隐偏差（第 2-3 章）

正则化消失的情况下优化注意力参数（K, Q），会在方向上收敛到的最大边际解，其核范数目标是组合参数。在直接用组合参数 W 对交叉注意力进行参数化的情况下，正则化路径 (RP) 定向收敛于以 Frobenius 范数为目标的（Att-SVM）解。

这是第一个正式区分 W 与（K，Q）参数化优化动态的结果，揭示了后者的低阶偏差。该研究的理论清楚地描述了所选 token 的最优性，并自然地扩展到了序列到序列或因果分类设置。

梯度下降的收敛（第 4-5 章）

通过适当的初始化和线性头 h (・)，组合 key-query 变量 W 的梯度下降（GD）迭代在方向上收敛到（Att-SVM）的局部最优解（第 5 节）。要实现局部最优，所选 token 必须比相邻 token 得分更高。

局部最优方向不一定是唯一的，可以根据问题的几何特征来确定 [TLZO23]。作为一项重要贡献，作者确定了保证向全局最优方向收敛的几何条件（第 4 章）。这些条件包括：

最佳 token 在分数上有明显区别；
初始梯度方向与最佳 token 一致。

除此以外，论文还展示了过度参数化（即维度 d 较大，以及同等条件）通过确保（1）（Att-SVM）的可行性，以及（2）良性优化 landscape（即不存在静止点和虚假的局部最优方向）来催化全局收敛（见第 5.2 节）。

图 1 和图 2 对此进行了说明。

SVM 等价的通用性（第 6 章）

当使用线性 h (・) 进行优化时，注意力层会固有地偏向于从每个序列中选择一个 token（又称硬注意力）。这反映在了 (Att-SVM) 中，表现为输出 token 是输入 token 的凸组合。与此相反，作者表明非线性头必须由多个 token 组成，从而突出了它们在 transformer 动态过程中的重要性（第 6.1 节）。利用从理论中获得的洞察力，作者提出了一种更通用的 SVM 等价方法。

值得注意的是，他们证明了在理论未涵盖的普遍情况下（例如，h (・) 是一个 MLP），本文的方法能准确预测通过梯度下降训练的注意力的隐含偏差。具体来说，本文的通用公式将注意力权重解耦为两个部分：一个是由 SVM 控制的定向部分，它通过应用 0-1 掩码来选择标记；另一个是有限部分，它通过调整 softmax 概率来决定所选 token 的精确组成。

这些发现的一个重要特点是，它们适用于任意数据集（只要 SVM 可行），并且可以用数字验证。作者通过实验广泛验证了 transformer 的最大边际等价性和隐含偏差。作者认为，这些发现有助于理解作为分层最大边际 token 选择机制的 transformer，可为即将开展的有关其优化和泛化动态的研究奠定基础。

参考内容：

https://news.ycombinator.com/item?id=37367951

https://twitter.com/vboykis/status/1698055632543207862

① 全网独家视频课程

BEV感知、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、点云3D目标检测、目标跟踪、Occupancy、cuda与TensorRT模型部署、协同感知、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码学习）

视频官网：www.zdjszx.com

② 国内首个自动驾驶学习社区

近2000人的交流社区，涉及30+自动驾驶技术栈学习路线，想要了解更多自动驾驶感知（2D检测、分割、2D/3D车道线、BEV感知、3D目标检测、Occupancy、多传感器融合、多传感器标定、目标跟踪、光流估计）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、AI模型部署落地实战、行业动态、岗位发布，欢迎扫描下方二维码，加入自动驾驶之心知识星球，这是一个真正有干货的地方，与领域大佬交流入门、学习、工作、跳槽上的各类难题，日常分享论文+代码+视频，期待交流！

③【自动驾驶之心】技术交流群

自动驾驶之心是首个自动驾驶开发者社区，聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向。扫码添加汽车人助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）