Activewaste

引言梯度下降：两个意思，根据梯度（导数）的符号来判断最小值点x在哪；让函数值下降（变小）。简单来说就是一种寻找目标函数最小化的方法，它利用梯度信息，通过不断迭代调整参数来寻找合适的目标值。其共有三种：BGD,batch gradient descent:批量梯度下降SGD,stochastic gradient descent:随机梯度下降mini-batch GD,mini-batch gradient descent:小批量梯度下降BGD假设有损失函数：y ^ 是预测值，

引言传统的神经网络无论是隐层还是激活函数的导数都是可导，可以直接计算出导数函数，然而在CNN网络中存在一些不可导的特殊环节，比如Relu等不可导的激活函数、造成维数变化的池化采样、已经参数共享的卷积环节。NN网络的反向传播本质就是梯度（可能学术中会用残差这个词，本文的梯度可以认为就是残差）传递，所以只要我们搞懂了这些特殊环节的导数计算，那么我们也就理解CNN的反向传播。Pooling池化操作的反向梯度传播CNN网络中一个不可导的环节就是Pooling池化操作，因为Pooling操作使得feature

smooth L1 loss能从两个方面限制梯度：当预测框与 ground truth 差别过大时，梯度值不至于过大；当预测框与 ground truth 差别很小时，梯度值足够小。考察如下几种损失函数，其中损失函数对 x 的导数分别为：观察 (4)，当 x 增大时 L2 损失对 x 的导数也增大。这就导致训练初期，预测值与 groud truth 差异过于大时，损失函数对预测值的梯度十分大，训练不稳定。根据方程 (5)，L1 对 x 的导数为常数。这就导致训练后期，预测值与 groun

【前馈神经网络】前馈神经网络也叫做全连接网络。缺点：在图像识别中会将多维向量平铺成一维向量，会丢失像素点之间的距离关系。无法将局部的权重应用到其他位置，带来的后果就是，如果在一个图像的右上角有一只猫，可以正确分类；当这只猫出现在左下角时，无法正确识别。（没有平移不变性）【卷积神经网络】卷积神经网络就是让权值在不同位置共享的神经网络。（卷积神经网络解决了前馈神经网络的什么问题？）...

ROI Align 是在Mask-RCNN这篇论文里提出的一种区域特征聚集方式, 很好地解决了ROI Pooling操作中两次量化造成的区域不匹配(mis-alignment)的问题。实验显示，在检测测任务中将 ROI Pooling 替换为 ROI Align 可以提升检测模型的准确性。ROI Pooling 的局限性分析在常见的两级检测框架（比如Fast-RCNN，Faster-RCNN，...

引言看了好几篇关于双线性插值算法的博文，解释得都不好理解，不过下面这篇博文就解释得很好，以下内容均参考这篇：图像处理+双线性插值法双线性插值算法双线性插值算法是解决什么问题的（原理）？在图像的仿射变换中，很多地方需要用到插值运算，常见的插值运算包括最邻近插值、双线性插值、双三次插值、兰索思插值等方法，OpenCV提供了很多方法，其中，双线性插值由于折中的插值效果和运算速度，运用比较广...

原博：https://blog.youkuaiyun.com/zhou4411781/article/details/100114342NMS算法非极大值抑制（NMS）顾名思义就是抑制不是极大值的元素，搜索局部的极大值。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小。这里不讨论通用的NMS算法，而是用于在目标检测中用于提取分数最高的窗口的。例如在行人检测中，滑动窗口经提取特...

简单理解：卷积核：二维的矩阵滤波器：多个卷积核组成的三维矩阵，多出的一维是通道。先介绍一些术语：layers（层）、channels（通道）、feature maps（特征图），filters（滤波器），kernels（卷积核）。从层次结构的角度来看，层和滤波器的概念处于同一水平，而通道和卷积核在下一级结构中。通道和特征图是同一个事情。一层可以有多个通道（或者说特征图）。如果输入的是一个R...

vgg16构造模型图：http://ethereon.github.io/netscope/#/gist/dc5003de6943ea5a6b8bsoftmax层一般连接的是全连接层和loss层，现在的CNN都是end-to-end的，最后通过全连接层送入softmax来进行分类。...

1.随机数和伪随机数1.1随机数真正的随机数是使用物理现象产生的：比如掷钱币、骰子、转轮、使用电子元件的噪音、核裂变等等，这样的随机数发生器叫做物理性随机数发生器，它们的缺点是技术要求比较高。----百度百科根据百科上的定义可以看到，真随机数是依赖于物理随机数生成器的。使用较多的就是电子元件中的噪音等较为高级、复杂的物理过程来生成。使用物理性随机数发生器生成的真随机数，可以说是完美再...

先看下面这篇博客深度学习笔记（七）–ResNet（残差网络）然后再对比下面这张图然后你就掌握了！！！

记几篇博客，有空再详细做个笔记：【Paper Note】DCN——Deep & Cross Network for Ad Click Prediction论文翻译（中英文对照）论文阅读: DCN