Andre_Jan的博客

Transformer_Attention Is All You Need代码： https://github.com/tensorflow/tensor2tensor摘要主要的序列转导模型基于复杂的循环或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器Transformer，它完全基于注意力机制，完全摒弃了递归和卷积结论Transformer是第一个完全基于注意力的序列转导模型，用多头自注意力取代了编码器-解码器架构中最常用的循环层机器翻译，在 WMT

对卷积神经网络的卷积层进行介绍，介绍如何从全连接层演化为卷积层以及卷积的含义。然后对卷积的一些相关概念如：填充和步幅，对卷积的一些相关操作如：多输入多输出、池化等进行介绍

介绍一些深度学习常用的概念如模型选择，误差，过拟合、欠拟合问题，以及常用的参数优化方法：权重衰退、Dropout，以及由于数值问题可能产生的梯度爆炸和梯度消失问题，然后是对这些问题的一些解决思路

感知机与多层感知机的基本概念以及它们能解决的问题，然后是介绍常用的激活函数，最后是感知机的代码实现

softmax简单释义及代码实现