michael_tim的博客

卷积层每个卷积层包含三部分：卷积、非线性激活函数和池化。使用卷积提取空间特征。激活函数的作用如果不用激活函数，每一层输出都是上层输入的线性表达，无论网络有多少层，输出都是输入的线性组合，只能用于线性分类问题。激活函数给神经元引入了非线性因素，使得网络可以逼近任何非线性函数，这样神经网络就可以应用到众多的非线性问题解决中。常见激活函数常见激活函数包括softmax、sigmoid，t...

博客link很好的说明了KL散度和交叉熵的异同。博客link通过各种角度给出了不同的解释方法。