crazyjinks的博客

原始输入中的每个 token 是一个 512 维向量。XWiQXWiKXWiVXWiQ​XWiK​XWiV​不同 head 使用不同的投影矩阵，因此它们得到的 64 维表示也不同。可以将其理解为：每个头都使用一套不同的坐标系统重新描述同一个 token。词义信息；位置信息；动作信息；指代信息；实体信息；上下文信息。某个头的投影可能组合出更适合表示动作关系的特征，另一个头的投影可能形成更适合表示指代关系的特征。

摘要 本文深入解析Transformer中的注意力机制，重点拆解了Scaled Dot-Product Attention的工作原理。注意力函数被抽象定义为将查询(query)、键值对(key-value pairs)映射为输出的过程，其中输出是值的加权和，权重由查询与键的兼容性函数计算。作者的具体实现采用点积作为兼容性函数，并引入关键的缩放因子√dk（dk是键的维度）：先计算查询与所有键的点积，除以√dk后进行softmax归一化，最后加权求和值向量。论文特别论证了√dk的作用——防止点积结果随维度增加而

这两段在做一件事:先交代 Transformer 沿用了序列转导任务中久经检验的,再逐层说明它在这个骨架内部具体堆了哪些模块、怎么连接。这不是摘要,而是正文的方法描述段落,方法描述段落有自己的组织逻辑,通常是:先说"我和前人共享什么结构"(定位),再说"我在这个结构里换了什么、怎么搭"(细节)。

具身智能论文伴读 | 第一期 | 精读 03｜Attention Is All You Need · Background 本文聚焦Transformer论文的背景章节，揭示其"圈地"策略： 问题定位：延续引言思路，围绕"减少串行计算"这一核心问题展开讨论。 竞争对手分析： 第一拨（卷积家族）：肯定CNN模型（Extended Neural GPU等）的并行能力，但指出其远距离关联成本随距离增长（线性/对数级）的缺陷 第二拨（自注意力）：定义核心机制，突出其序列内部关联的优势 创新点宣示

问题,把死穴的代价说死。大白话:这种天生串行的特性,堵死了"在单个训练样本内部做并行"的可能;而序列越长,这个问题越致命,因为内存限制又让你没法靠"一次多塞几个样本"来凑数。inherently sequential(天生就是串行的):inherently = “本质上、天生地”,作者用这个词是在强调"这不是调调参数能修的,是娘胎里带的precludes parallelization(排除了并行的可能):preclude = “使…不可能、阻止”。

反过来想,假如他们是在8块廉价的老芯片上跑出来的,那"廉价"就成了优势,作者一定会大写特写"我们仅用8张奔腾芯片就训练完成"。作者特意说明"我连你们的集成模型都超过了2分以上",是在提前回应可能的质疑:你别拿更强的组合配置来比,我把最强的配置也比下去了。作者没有解释"2分有多难",因为面向的是行内读者,点到即可——这也是写作的分寸:对专业读者,常识不必展开。这是"方法",也是全文的核心主张:我们提出一个新的、简单的网络结构,叫 Transformer,它完全基于注意力机制,彻底摒弃了循环和卷积。

具身智能论文伴读-第一期