Pythonlittlegirl的博客

深度学习比起传统神经网络的优势在于：1.采用了新的激活函数ReLu，可以使得网络的层次超过三层2.采用Dropout, Maxout和随机池化技术（Stochastic Pooling）解决过拟合问题3.可以采用GPU，解决多层网络训练速度慢的问题。现在流行的深度学习框架有很多。包括微软开发的CNTK，Google的TensorFlow，蒙特利尔大学开发的Theano, facebook开发的Caffe，Pytorch基金会创立的PyTorch和由中国人发起的MXNet。

RNN Encoder-Decoder模型是一个sequence to sequence模型。该模型将输入序列映射到一个输出序列，而输入序列的长度和输出序列的长度可以是变化的。这种模型最常见的任务是机器翻译。从一种语言的句子（sequence）翻译成另一种语言的句子（sequence）。RNN Encoder-Decoder模型的想法很简单：（1）一个编码器Encoder处理输入序列Xx1xnxXx1...xnx​。

ViT是Vision Transformer的缩写，它是一种基于Transformer架构的模型，用于处理图像识别任务。