木盏

如果非要找一个模型来作为近三年来AI算法进展的突出代表，我认为transformer定会高票当选。本文作为算法解析文章，倡导思想为主，公式为辅，希望有助于大家理解transformer。行文逻辑为总-分-总结构。本文所有未标来源的图片均为本人所画，引用时请附上本文链接。

LSTM是序列处理最常见的网络结构之一，被周志华老师称为“教科书级”的研究成果。近年来，LSTM已经从单纯的文本语音分析跨越到了视频处理、视频理解等诸多CV领域。这也是我开始涉足LSTM的原因。LSTM的经典解释文章是2015年8月的《Understanding LSTM Networks》，这篇文章也是本文主要借鉴的文章。RNNLSTM是循环神经网络（RNN）的一种改进形式，我们可以...