weixin_41295283的博客

1、为什么使用激活函数 一句话：为了增加模型的非线性，解决更复杂的问题。 现实生活中的数据经常不是线性可分的，我的理解这种情况下可以采用 （1）核方法，即将原始数据映射至高维空间后可以采用线性方法分析和解决问题。 （2）非线性变化，例如激活函数 2、梯度消失和梯度爆炸 反向传播过程计算梯度（Loss对中间l层的权重的梯度） 可见，梯度受两类因素的影响：1、中间层的偏导 2、L层的x值 如果每层因...

1、输入层 与传统神经网络/机器学习一样，模型需要输入的进行预处理操作，常见的输入层中预处理方式有： 去均值 归一化 PCA/SVD降维等 2、卷积层 提取特征，通常或产生超高的维度 3、激励层 所谓激励，实际上是对卷积层的输出结果做一次非线性映射。 　　如果不用激励函数（其实就相当于激励函数是f(x)=x），这种情况下，每一层的输出都是上一层输入的线性函数。容易得出，无论有多少神经网络层，输出都...