冰糖麻辣鱼的博客

文章目录前言1、卷积层1.1、卷积1.2、卷积核1.3、填充1.4、步幅2、池化层前言  CNN中，将卷积层的输入输出数据称为特征图。其中，卷积层的输入数据称为输入特征图，输出数据称为输出特征图。  卷积网络有两个比较大的特点  其一：卷积网络有至少一个卷积层，用来提取特征  其二： 卷积网络的卷积层通过权值共享的方式进行工作，大大减少权值 的数量，使得在训练中在达到同样识别率的情况下收...

文章目录自信息信息熵相对熵（KL散度）交叉熵为什么交叉熵可以作为损失函数参考文章自信息  信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能够提供发更多的信息。消息说：“今天早上太阳升起”，信息量是如此少，以至于没有必要发送；但一条消息说：“今天早上有日食”，信息量就很丰富。  一条信息的信息量大小和它的不确定性有直接的关系，我们可以认为，信息量的度量就等于不确定...

人工神经网络是一种模拟生物神经网络以期能够实现类人工智能的机器学习技术（数学算法模型）。此算法在结构上分层，在层级间传递信息和中间计算结果，并应用大量的数据，通过优化函数和误差函数进行反复校正，使模型达到预期效果。使用时可以将神经网络看作为一个数学黑盒1、神经元2、激活函数2.1、sigmoid函数2.2、tanh函数2.3、ReLU函数3、神经网络4、神经网络的学习4.1、损失函数4.1.1 均方误差4.1.2 交叉熵误差4.2、学习步骤

神经网络的学习需要使用梯度下降法，而梯度下降法需要计算梯度。我们知道，计算梯度可以使用数值微分和误差反向传播算法，但数值微分计算速度慢，其计算精度会有极小的缺失，一般较少使用。使用误差反向传播算法则可以高效计算梯度，故其在深度学习是一个非常基础的知识，也是一个重要的理论。计算图

1、优化器的选择（参数的更新算法）1.1、随机梯度下降法（SGD）1.2、Momentum1.3、AdaGrad1.4、RMSProp1.5、Adam2、权重的初始值3、Batch Normalization4、抑制过拟合4.1、正则化4.2、DropOut5、超参数的设定