- 博客(12)
- 收藏
- 关注
RSS订阅原创 一文搞懂交叉熵损失
本文从信息熵和最大似然估计来推导交叉熵作为分类损失的依据。从熵来看交叉熵损失信息量信息量来衡量一个事件的不确定性，一个事件发生的概率越大，不确定性越小，则其携带的信息量就越小。设XXX是一个离散型随机变量，其取值为集合X=x0,x1,…,xnX = {x_0,x_1,\dots,x_n}X=x0,x1,…,xn ，则其概率分布函数为p(x)=Pr(X=x),x∈Xp(x) = Pr(...
2019-12-19 15:24:54
766
原创 回归损失函数 ： Huber Loss,Log Cosh Loss,Quantile Loss
均方误差（Mean Square Error,MSE）和平均绝对误差（Mean Absolute Error,MAE) 是回归中最常用的两个损失函数，但是其各有优缺点。为了避免MAE和MSE各自的优缺点，在Faster R-CNN和SSD中使用SmoothL1\text{Smooth} L_1SmoothL1损失函数，当误差在[−1,1][-1,1][−1,1] 之间时，SmoothL1\tex...
2019-12-17 15:29:34
2204
原创 L1 Loss,L2 Loss和Smooth L1 Loss 的对比
总结对比下L1L_1L1 损失函数，L2L_2L2 损失函数以及SmoothL1\text{Smooth} L_1SmoothL1 损失函数的优缺点。均方误差MSE (L2L_2L2 Loss)均方误差（Mean Square Error,MSE）是模型预测值f(x)f(x)f(x) 与真实样本值yyy 之间差值平方的平均值，其公式如下MSE=∑i=1n(fxi−yi)2nMSE ...
2019-12-11 11:50:01
1042
原创 目标检测 1 ：目标检测中的anchor详解
咸鱼了半年，年底了，把这半年做的关于目标的检测的内容总结下。本文主要有两部分：目标检测中的边框表示Anchor相关的问题，R-CNN，SSD,YOLO 中的anchor目标检测中的边框表示目标检测中，使用一个矩形的边框来表示。在图像中，可以基于图像坐标系使用多种方式来表示矩形框。最直接的方式，使用矩形框的左上角和右下角在图像坐标系中的坐标来表示。使用绝对坐标的(xmin,y...
2019-12-09 17:58:29
2492
原创 PyTorch - 网络模型的创建，预训练模型的加载
本文是PyTorch使用过程中的的一些总结，有以下内容：构建网络模型的方法网络层的遍历各层参数的遍历模型的保存与加载从预训练模型为网络参数赋值主要涉及到以下函数的使用add_module,ModulesList,Sequential 模型创建modules(),named_modules(),children(),named_children() 访问模型的各个子模块par...
2019-06-20 14:26:30
317
原创 权值初始化 - Xavier和MSRA方法
设计好神经网络结构以及loss function 后，训练神经网络的步骤如下：初始化权值参数选择一个合适的梯度下降算法（例如：Adam，RMSprop等）重复下面的迭代过程：输入的正向传播计算loss function 的值反向传播，计算loss function 相对于权值参数的梯度值根据选择的梯度下降算法，使用梯度值更新每个权值参数初始化神经网络的训练过程是一个迭代...
2019-06-13 00:34:50
774
原创 基于CNN的人群密度图估计方法简述
人群计数的方法分为传统的视频和图像人群计数算法以及基于深度学习的人群计数算法，深度学习方法由于能够方便高效地提取高层特征而获得优越的性能是传统方法无法比拟的。本文就使用单张人群图像，简单的介绍下近几年基于CNN进行密度图估计，从而进行人群计数的方法。传统的人群计数方法传统的人群计数方法可以分为两类，基于检测的方法和基于回归的方法。基于检测的方法早期的计数方法主要是基于检测的方法，...
2019-03-29 15:42:15
3878
原创 一文搞懂深度学习中的梯度下降
本文算是对常用梯度图下降的算法综述，从方向导数开始得到梯度下降的原始算法，接着描述了动量梯度下降算法。 而由于超参数学习率对梯度下降的重要性，所以梯度算法就有多个自适应梯度下降算法。 主要有以下内容：方向导数和梯度下降梯度下降的形式，批量梯度下降，SGD以及mini-batch 梯度下降梯度下降的进化，主要是几种自适应梯度下降算法：AdaGrad,RMSprop,AdaDelta,Adam...
2019-03-13 10:23:05
1063
原创 目标检测之YOLO V2 V3
YOLO V2YOLO V2是在YOLO的基础上，融合了其他一些网络结构的特性（比如：Faster R-CNN的Anchor,GooLeNet的1×11\times11×1卷积核等），进行的升级。其目的是弥补YOLO的两个缺陷：YOLO中的大量的定位错误和基于区域推荐的目标检测算法相比，YOLO的召回率（Recall）较低。YOLO V2的目标是：在保持YOLO分类精度的同时，提高目标...
2019-02-27 22:48:49
342
原创 目标检测之YOLO V1
前面介绍的R-CNN系的目标检测采用的思路是：首先在图像上提取一系列的候选区域，然后将候选区域输入到网络中修正候选区域的边框以定位目标，对候选区域进行分类以识别。虽然，在Faster R-CNN中利用RPN网络将候选区域的提取以放到了CNN中，实现了end-to-end的训练，但是其本质上仍然是提取先提取候选区域，然后对候选区域识别，修正候选区域的边框位置。这称为tow-stage的方法，虽然在精...
2019-02-20 14:11:33
393
原创 Fast R-CNN中的边框回归
前面对R-CNN系的目标检测方法进行了个总结，其中对目标的定位使用了边框回归，当时对这部分内容不是很理解，这里单独学习下。R-CNN中最后的边框回归层，以候选区域(Region proposal)为输入，来对Region proposal中包含的目标进行准将的定位。但是，这个输入的候选区域通常不会正确的包含目标区域，如下图：绿色边框是飞机的Ground Truth边框，绿色的是Region ...
2019-02-18 09:51:48
1334
原创 目标检测之R-CNN Fast R-CNN Faster R-CNN
Object Detection，在给定的图像中，找到目标图像的位置，并标注出来。 或者是，图像中有那些目标，目标的位置在那。这个目标，是限定在数据集中包含的目标种类，比如数据集中有两种目标:狗，猫。 就在图像找出来猫，狗的位置，并标注出来 是狗还是猫。这就涉及到两个问题：目标识别，识别出来目标是猫还是狗，Image Classification解决了图像的识别问题。定位，找出来猫狗的位置...
2019-02-15 15:37:14
494
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人