scripteddreams的博客

Transformers相较于LSTM的好处就是能够将整个句子作为input来处理，依靠attention来理解词与词之间的关系，但是相对应的坏处就是失去了词的顺序这个重要的信息，所以需要额外的将词的positional information给嵌入到模型中。LSTM/RNN用hidden states来记录long-range information，而Transformers靠的则是Attention。例如当翻译这个英文句子“The animal didn’t cross the street..

Written部分答案2020cs224n作业5比2019版本改变挺多，所以在这里记录一下自己的答案（still in process，仅供参考）。Problem 1.(a) We learned in class that recurrent neural architectures can operate over variable length input (i.e., the shape of the model parameters is independent of the length