自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

老王的博客

需要冷静的少年

  • 博客(9)
  • 收藏
  • 关注

原创 手撕 Batch Normalization

以下是个人实现,经测试,输入为2D时,和官方KPI输出结果相同。

2024-10-25 22:35:51 244

原创 【目标检测02】非极大值抑制 NMS

在检测图像中的目标时,一个目标可能会被预测出多个矩形框,而实际上我们只需要一个,如何消除冗余的边界框呢?一种方简单的方案是提升置信度的阈值,过滤掉低置信度的边界框。而另一种方案是使用非极大值抑制NMS。NMS的做法是,选出某个类别得分最高的预测框,然后看哪些预测框跟它的IoU大于阈值,就把这些预测框给丢弃掉。这里IoU的阈值是超参数,需要提前设置。

2024-10-24 14:47:37 1195

原创 【目标检测01】真实框、预测框、锚框和交并比IoU

目标检测的主要目的是让计算机可以自动识别图片或者视频帧中所有目标的类别,并在该目标周围绘制边界框,标示出每个目标的位置,如图所示。

2024-10-24 13:54:37 2224

原创 【损失函数03】Dice Loss

分别表示ground truth (真实的mask) 和 predict mask (预测的mask)。根据二分类的实现,每个类别单独计算Dice Loss,最后再把它们相加求平均。Dice系数, 根据 Lee Raymond Dice命名,

2024-10-23 22:30:35 1624

原创 【损失函数02】Focal Loss

当样本分布失衡时,损失函数L的分布会发生倾斜,如果负样本比较多,那么负样本就会在损失函数占据主导地位。由于损失函数的倾斜,模型训练过程中会倾向于样本多的类别,造成模型对少样本类别的性能较差。很不幸,这种方法也很笨拙,因为它是一个固定的因子,并不能根据训练情况动态调整,我们希望对于那些难分类的样本,动态赋予一个比较大的权重,而给那些易分的样本一个比较小的权重,从而有针对性地训练模型。比如样本1属于类别1的概率为0.9,样本2属于类别1的概率为0.5,显然前者更可能是类别1,其就是容易分类的样本;

2024-10-23 21:02:44 1201

原创 【损失函数01】交叉熵

信息量是对事件的不确定性的度量。假设有两个事件:显而易见地,事件A发生的概率为1,是一种必然事件。事件B发生的概率为0.5,不确定性很大,因此事件B的信息量要远远大于事件A。那么如何用数字直观地表达这种信息量大小呢?如下公式就可以:l(x)=−log(p(x))l(x) = -log(p(x))l(x)=−log(p(x))其中:l(x)l(x)l(x) 是信息量p(x)p(x)p(x) 是事件xxx发生的概率。熵是指对信息量求期望。具体来说就是,给定一个系统,求出所有可能发生的事件的信息量,然后和事

2024-10-23 16:26:52 1213

原创 【优化算法03】AdaGrad、RMSprop和Adam

在前面的几种优化算法优化算法01和 优化算法02中,学习率是固定的。而随着训练的向前推进,学习率应该是要不断变小的,因为如果学习率过大,那么模型会跨过极值点,来回震荡。如何对学习率进行调整呢?一种简单的策略是每更新一次参数或者到达一个阶段,就固定地减少学习率,直到学习率为0就结束训练。但是这种方法依靠人为设定,每次减少的程度是个难以抉择的值,因为设定得过大,模型会提前结束训练,设置得过小,模型需要漫长的迭代,浪费计算资源。AdaGrad借鉴动量梯度下降的思想类似,依靠历史信息来自适应地调整学习率。具体步骤如

2024-10-23 10:08:09 879

原创 【优化算法02】动量梯度下降和 Nesterov 加速梯度下降

在上一篇。

2024-10-22 23:13:06 995 1

原创 【优化算法01】Batch,MiniBatch和随机梯度下降原理

梯度下降也叫批量梯度下降,通过计算损失函数相对于模型参数的梯度,并沿着梯度的反方向更新参数,以最小化损失函数。给定一个包含 n 个样本的数据集,批量梯度下降的每次更新步骤是基于所有训练数据计算的。与传统的梯度下降算法不同,随机梯度下降中每次更新都是基于一个随机选取的样本。是对 n 个样本的梯度。

2024-10-22 21:35:47 822

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除