小杜的博客

该文章的博客链接 通过js交互图，介绍不同层之间，图的信息传递 摘要 Understanding Convolutions on Graphs 这篇文章会帮助我们理解从图像卷积自然过渡到图的卷积。GNN属于是一个新的领域，刚刚开始应用。本篇文章主要可以分为四个部分，第一部分是介绍什么数据可以表示成图。第二部分是介绍图和其他数据结构有什么区别。第三部分是介绍GNN的模型，从最简单的模型到现在最先进的模型。第四部分，作者提供了GNN的playground，可以让读者亲自体验体验GNN的魅力。 在本篇文章中，

摘要 针对于机器翻译问题，常见的解决思路是基于RNN或者CNN，这些神经网络中包含一个encoder和decoder。性能表现最好的模型会在encoder和decoder之间使用attention来将这两个结构连接起来。本文提出了Transformer，完全基于attention，并摒弃了RNN和CNN。Transformer在机器翻译任务上的表现很好，有望推广到其他领域。 介绍 在机器翻译的领域中，常用的RNN模型有LSTM和GRU网络模型。它们主要存在的问题是，输出有时序性，即当下的输出，依赖于前一个的

摘要 训练很深的网络很难，我们提出了一个残差连接来降低深层网络的复杂度，使得其更容易训练。 1.介绍 问题：学习更好的网络像堆叠更多的层一样简单吗？ 解决：存在梯度消失和梯度爆炸问题，这个问题，可以通过好的标准初始化和BN来解决，这就使得网络可以通过SGD来进行收敛 问题：随着网络开始收敛时候，会出现退化现象，也即深层的网络的训练误差和测试误差都会比浅层网络的要高。 解决：理论上来说，深层的网络一定会比浅层的网络误差要小。理论分析为：深层网络增加的层是恒等映射，而其他层是从已经训练好的浅层模型复制来的。按照

ImageNet Classification with Deep Convolutional Neural Networks(基于深度卷积网络的图像分类) 摘要 针对ImageNet数据集，我们训练了一个深度卷积网络，该网络有5个卷积层和3个全连接层构成，包含很多的参数，它在ImageNet测试集的表现很优秀，远远超过了第一名。为了加快训练速度，我们使用非饱和非线性函数（ReLU）以及GPU加速。为了解决过拟合的问题，首次引入了dropout正则化方法。 1.引言 CNN的参数更少，更易于训练。本文将CN