mbanyan的博客

文章目录文章前言从问题出发来了解背景从整体宏观上来理解TransformerEncoder（编码器）和Decoder（解码器）Position Embedding（位置编码）Self-Attention机制多头注意力机制（Multi-Head Attention）代码实现Attention残差连接Decoder最后的先行层和softmax层文章前言该篇博客只为了记录自己学习Transformer的笔记，供自己日后复习，也给需要学习Transformer的小伙伴一点参考。博客的资料来自《Attenti

一.第一次参加感想之前学习的时候，经常都是跟着Datawheal的github上的资料进行学习，也曾经想过要参与其中，进行每个月的学习，抢过一两次，但是没抢到名额就只能遗憾了。昨天报名成功了，激动的心颤抖的手哈哈。大家都很活跃，大家会互相分享学习的资料，讨论学术问题，到了晚上自我介绍的时候，发现群里真是卧虎藏龙（群除我佬哈哈），几乎都是研究生，博士生（还有博士后），大厂工程师。感觉自己（弱鸡二本准大三）混入了一个不属于自己的世界，不过自己正常努力，争取早日成为群中大佬的一员哈哈！到了晚上的分队，自己也有了