DL损失函数
关注
分享
扫一扫
just_sort
Acdream.
展开
-
【激活函数合集】盘点当前最流行的激活函数及选择经验
前言在阅读DarkNet源码的时候发现作者定义了大量从古至今流行的损失函数，本着科普的态度我打算做一个全面的总结，所以就有了这篇文章。激活函数有什么用？提到激活函数，最想问的一个问题肯定是它是干什么用的？激活函数的主要作用是提供网络的非线性表达建模能力，想象一下如果没有激活函数，那么神经网络只能表达线性映射，此刻即便是有再多的隐藏层，其整个网络和单层的神经网络都是等价的。因此正式由于激活函数...原创 2020-02-24 23:41:36 · 2218 阅读 · 0 评论 -
【损失函数合集】超详细的语义分割中的Loss大盘点
前言前两天介绍了一下Contrastive Loss，Triplet Loss以及Center Loss。今天正好是周六，时间充分一点我就来大概盘点一下语义分割的常见Loss，希望能为大家训练语义分割网络的时候提供一些关于Loss方面的知识。此文只为抛转引玉，一些Loss笔者暂时也没有进行试验，之后做了实验有了实验结果会继续更新。交叉熵LossL=−∑c=1Myclog(pc)L=-\sum...原创 2020-01-18 23:18:41 · 7175 阅读 · 0 评论 -
【损失函数合集】Yann Lecun的Contrastive Loss 和 Google的Triplet Loss
前言昨天在介绍Center Loss的时候提到了这个损失函数，今天就来介绍一下。Contrastive Loss是来自Yann LeCun的论文Dimensionality Reduction by Learning an Invariant Mapping，目的是增大分类器的类间差异。而Triplet Loss是在FaceNet论文中的提出来的，原文名字为：FaceNet: A Unified...原创 2020-01-17 22:00:07 · 1194 阅读 · 0 评论 -
【损失函数合集】ECCV2016 Center Loss
前言感觉一年下来了解了很多损失函数，准备做一个【损失函数合集】不定期更新一些损失函数的解读，相信这个系列会成为工程派非常感兴趣的一个专题，毕竟这可能是工程量最小同时可能会在某个任务上取得较大提升的最简单有效的方法了。话不多说，今天来介绍一下ECCV 2016的Center Loss。论文连接见附录。介绍我们知道在利用卷积神经网络(CNN)进行特征提取然后做分类任务的时候，最常用的就是Soft...原创 2020-01-16 22:10:24 · 391 阅读 · 0 评论