Luyoom的博客

论文导航 Transformer Bert 前言 不知道有没有人像我一样，再最开始接触 Transfomer 和Bert 的时候，感觉就是云里雾里，只知道着 Bert 不是基于 Transformer 的构建的吗，对他们之间的具体区别一直没有清晰到位的理解 (((φ(◎ロ◎;)φ)))。于是在论文阅读和资料查找答疑之后，用这篇博文记录自己的理解，也方便以后回顾。 Transfomer transfomer 原意为变形金刚，由于网络中attention部分就像是用于组装的零件，能根据我们的设计和需要构成各种模

内容概括 数据集 – CIFAR10 60000张 彩色图像 – 这些图像是32*32，分为10个类，每类6000张图。 50000张 – 用于训练 – 构成了5个训练批，每一批10000张图； 10000张 – 用于测试 – 单独构成一批 下载链接：http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz loss f...