weixin_40485502的博客

文章目录 bert微调 transformer bert学习 预训练模型

1.Transformer self-attention multihead attention block:MAB(X,Y)=LayerNorm(H+rFF(H))

1.transformer transformer self-attention 当前编码的词和整个句子所有词做attention，权重加在所有句子上获得当前的表示 encoder-decoder-attention 当前解码的单元和编码器的所有输出做attention，权重加在所有编码输出上，获得当前的表示 1.1 self-attention 单头 多头 1.2 残差 2.Bert Bert- ...

1 直接finetune 2 layer finetune 有一层不使用与训练参数 3ULMFiT Universal Language Model Fine-tuning for Text Classification 逐层解冻