zhuzaiyebol的博客

基于self-attention的编码解码 编码：直接提取单词意义（生成拆解说明书） 解码：根据生成顺序自由选择需要的信息（边看自己的拆解说明书，边考虑与其它向量的关系，每步组装输出一个零件）汉语—编码—解码—英语 1. 编码器：mutli-head attention + 前馈网络 2. 解码器：multi-head attention + 编解码-attention + 前馈网络

attention 就是权重 其本质就是加权求和，解决对于context的理解transformer、bert、gpt建立隐层之间时序关联：每一时刻的隐层状态St不仅取决于输入Xt，还包含上一时刻状态St-11. 两个RNN组合，先编码再解码 2. 缺点：不管输入多长，都先编码成一个长度相同的向量c，导致精度下降1. 不再是编码成一个向量C，而是每个时间生成不同的C，Ct = t时刻所有输入*t时刻所有输入对应的权重 2. 对于Ct而言，t时刻的输入权重即为attention（或者说Ct对于不同的输入，要给