[CLS] 输出向量 和 [MASK] 向量

[CLS] 输出向量 和 [MASK] 向量 是BERT（Bidirectional Encoder Representations from Transformers）模型中两个具有特定功能的特殊标记所对应的输出表示，它们在BERT的架构和不同任务中扮演着不同的角色。以下是它们的区别：

[CLS] 输出向量:

1. 位置与作用：

   • [CLS] （Classification Token）位于每个输入序列的起始位置，作为整个序列的“句柄”或“摘要”。
   • 它的设计目的是为后续的下游任务提供一个固定的、全局的句子级表示。这些任务可能包括文本分类、情感分析、问答系统中的问题与篇章匹配等，需要对整个输入序列做出判断或决策的情况。

2. 输出特征：

   • [CLS] 输出向量是经过BERT模型编码后的最终状态，它综合了整个序列的信息，包括上下文关系、潜在语义等。
   • 在预训练阶段，尽管[CLS] 不直接参与掩码（mask）机制，但它通过双向注意力机制接收并整合了其他所有标记（包括被mask的词）的影响。
   • 在下游任务中，通常会直接取[CLS]向量作为整个句子的高级抽象表示，并将其接入一个额外的全连接层或多层感知机（MLP）等简单分类器，用于二分类、多分类或回归等任务。

3. 任务适应性：

   • [CLS] 向量特别适用于那些需要对整个输入序列进行整体判断的任务，如文本分类、情感分析、问答系统的篇章匹配等。

[MASK] 向量: