恩泽君的博客

深度学习各类优化器详细介绍  这篇文章将按照时间线详细讲解各类深度学习优化器，包括常用与不常用的，为这篇博客的个人笔记，但是本文将对每个优化器进行更加清晰的讲解，所以可以更容易理解每一个优化器，对于深度学习小白来说也可以很容易看懂。一、前言：  最新的深度学习库包含各种优化梯度下降的算法，比如有caffe、keras、tensorflow、pytorch等，但是通常这些算法被当做一个黑匣子使...

卷积神经网络前向及反向传播过程数学解析文章目录卷积神经网络前向及反向传播过程数学解析1、卷积神经网络初印象2、卷积神经网络性质3、前向传播3.1、卷积层层级间传递3.2、池化操作3.3、卷积层到全连接层传递4、卷积神经网络的反向传播过程4.1、全连接层误差公式4.2、全连接层向池化层反向传递公式4.3、池化层到卷积层的误差公式4.4、卷积层之间的误差传递4.5、参数w和b的梯度公式5、总结5.1...

(yolo v3)使用自己数据集k-means聚类产生的anchor效果反而变差解决方法最近在使用yolo v3训练自己的数据集时，先使用k-means聚类出自己数据集anchors，然后训练自己数据集，最后结果发现预测的效果并不好，预测框得分很低，且容易误检，而使用COCO数据集都感觉效果更好一点，这就让我很怀疑使用k-means聚类产生anchor这个方法是否有效了。而经过观察发现，原...

最近将毕业论文写完了，有关YOLO V3框架的目标检测，期间自己用Word做了很多模型和表格、公式，想着在我电脑里生灰还不如让更多人拿去学习和使用，下面是部分演示图片，想要更多的和Word原始文件（矢量文件，可任意放大）都可以邮箱联系我（2659450141@qq.com）不多说，直接上图：YOLO V3：tiny-YOLO V3:说明：tiny-YOLO V3最后一个max pooling的步长为1，所以最后输出也为缩小2^5倍，即输出为原输入1/32倍。Darknet53：全连接网.

神经网络参数的初始化  对于神经网络中的参数，如权重和偏置，往往我们需要初始化，最常规的方法就是正态分布初始化这些参数，但是采用什么均值和方差的正态分布初始化参数却是需要仔细考虑的。  上一篇博文讲述了如何防止网络训练在最后一层出现饱和，导致参数更新缓慢的问题，就是使用了交叉熵损失函数，但是这只能对输出层有效，对于其他层却还是有可能出现这个问题。（1）未合理初始化带来的问题  假如所有参数...