- 博客(4)
- 收藏
- 关注
RSS订阅原创 Transformer番外：PreNorm 效果不如 PostNorm 的原因
PreNorm 倾向于退化为一个“浅而宽”的模型，即在 PreNorm 中多层叠加的结果更多是增加宽度而不是深度，而在深度学习网络中深度更加重要，这使得PreNorm 模型的效果变差。PostNorm 是更突出残差分支的，因此Post Norm中的层数更加“足秤”，一旦训练好之后效果更优
2025-03-05 17:33:54
921
原创 从0开始的Transformer架构学习：Encoder-Decoder（编码器-解码器）框架流程与相关知识
整个文章的内容涉及Encoder、Decoder的流程以及其中的相关知识点包括：残差链接、层标准化、全连接层、注意力机制等。书写的内容均是我查阅相关资料后的自我理解，受限于学业水平，这其中或有些许错误，或有解释不清的地方，还望指出；如有更好的想法，也欢迎你在评论区交流，一同进步。
2024-10-20 11:33:24
15940
8
原创 PowerDesigner无法查询到MySQL ODBC驱动问题解决以及”This application requires VisualStudio2013x64Redistributab“报错解决
PowerDesigner无法查询到MySQL ODBC驱动问题解决 以及“This application requires Visual Studio 2013 x64 Redistributable. Please install the Redistributable then run this installer again”报错解决
2024-10-18 21:51:12
788
原创 Linux源码解析——从schedule开始的关源码解析及调度算法评述
整个文章的内容涉及schedule.c，goodness.c，switch_to.c，process.c中的全部或部分函数解析，Linux系统调度算法的评述解析，以及一些相关名词解释的目录。
2024-10-07 09:52:22
1028
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人