奋土的博客

2023年8月学习笔记

在 Transformer 模型中，Q、K、V 分别代表 Query（查询）、Key（键）、Value（值）。这些是在 Transformer 的自注意力（Self-Attention）机制中使用的，这种机制允许模型对输入序列中的每个元素分配不同的注意力。在自注意力机制中，输入首先被映射成三个不同的向量：Query、Key 和 Value。这个映射通常是通过将输入向量与相应的权重矩阵进行点乘来实现的。假设我们的输入是一个矩阵 X，其维度为 (n, d)，其中 n 是序列长度，d 是输入向量的维度。

自学笔记