预训练语言模型实践笔记

Roberta

output_hidden_states=True和last_hidden_states和pooler_output

在使用像BERT或RoBERTa这样的transformer模型时，output_hidden_states和last_hidden_state是两个不同的概念。

1. output_hidden_states: 这是一个布尔值，决定了模型是否应该返回所有隐藏层的输出。如果设置为True，模型将返回一个元组，其中包含每一层的隐藏状态。这对于某些任务（如特征提取或fine-tuning）可能是有用的，因为不同的隐藏层可能会捕获不同类型的信息。

2. last_hidden_state: 这是模型的最后一个隐藏层的输出，通常用作下游任务的输入（如文本分类或命名实体识别）。这是模型的主要输出，通常包含了输入序列的高级表示。

在大多数情况下，您只需要last_hidden_state。但是，如果您想要进行更深入的分析或实验，可以设置output_hidden_states=True以获取所有隐藏层的输出。

在您的代码中，您已经正确地获取了最后一层的[CLS]嵌入。这是通过以下代码行完成的：

result = out.last_hidden_state[:, 0]

这行代码从最后一个隐藏状态（即最后一层的输出）中获取了每个序列的第一个标记（即[CLS]标记）的嵌入。

另一种方法是在模型配置中设置output_hidden_states=True，然后从输出的隐藏状态列表中获取最后一层的[CLS]嵌入。这将返回一个包含每一层隐藏状态的列表，您可以从中选择最后一层的[CLS]嵌入。

以下是如何实现的示例：</