weixin_64420349的博客

本文主要介绍了Seq2Seq模型，Attention机制和Transformer模型；从模型结构训练等多个方面详细的介绍了预训练语言模型。

是自然语言处理的一种模型，用于捕捉词序之间的。通过在文本上应用大小为的，并以（token）为单位对文本进行,从而产生长度为N的词序列，称之为gram。在该模型中，因此一个由其组成的各的的。：基于前N-1个词预测下一个词出现的概率在N-gram中，N代表连续词的数量。例如，：每个词的概率独立于其他词，仅考虑单个词的频率。：考虑两个连续词之间的关系，预测下一个词时只依赖于前一个词。：考虑三个连续词之间的关系，预测下一个词时依赖于前两个词。

独热表示-->将词汇映射成向量。通过这种方法，每次词被映射为，其维度是。在该向量中，其余都是0.词向量将词转化为数字化的形式，使得计算机能够解析和处理它们。举例如下：我们有颜色：红色，蓝色，绿色，独热表示为红色 [ 0 0 1 ]蓝色 [ 0 1 0 ]绿色 [ 1 0 0 ]在这个表示法中，1的位置是根据决定的。我们看到下面的词汇表。以“红色”为例，它的索引为2，因此它对应的独热向量的第3个位置为1，其余为0.