这篇博客介绍了Transformer模型，它由Google提出，用以替代RNN实现并行处理。Transformer利用CNN结构，解决了RNN依赖前后信息、无法并行计算的问题，从而在处理时序数据时提高了效率。
首先被google提出的 transformer is all you need 中提出的。图出自李宏毅老师ppt.
对于有时序的模型来说，RNN 是需要依靠前/后的信息，不能并行处理。Transformer 则采用CNN 替换rnn来实现并行处理。
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
