[caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大loss

caffe中backward过程总结 backward是利用代价函数求取关于网络中每个参数梯度的过程,为后面更新网络参数做准备。求取梯度的过程也是一个矩阵运算的过程,后面会有详细介绍,本身求取梯度的过程并不是很复杂,而且网络中的各层求取梯度的过程都是相似的。下面就按照backward的运行顺序,从最后一层向前介绍caffe的backward的过程。 softmax with loss layer:按理说每一层应该都要求一层梯度, 阅读详情

本节说caffe中常见loss的推导,具体包含下面的cpp。

multinomial_logistic_loss_layer.cpp

01

multinomial_logistic_loss_layer.cpp

数学定义

x是输入,y是label,l是loss

640?wx_fmt=png

上述式只有当样本i属于第k类时,y k=1,其他情况 y k=0,我们计不为0的 y k=y。

640?wx_fmt=png

forward & backward

forward对所有求和,注意此处没有对图像维度的像素进行归一化,只对batch size维度进行归一化,num就是batch size,这与下面的softmaxlosslayer是不一样的。

void MultinomialLogisticLossLayer<Dtype>::Forward_cpu(

backward可以自己去看,很简单就不说了

02

softmax_layer.cpp

数学定义

softmax是我们最熟悉的了,分类任务中使用它,分割任务中依然使用它。Softmax loss实际上是由softmax和cross-entropy loss组合而成,两者放一起数值计算更加稳定。

令z是softmax_with_loss层的输入,f(z)是softmax的输出,则

640?wx_fmt=png

单个像素i的softmax loss等于cross-entropy error如下

640?wx_fmt=png

展开上式:

640?wx_fmt=png

在网络中,z是即bottom blob,l(y,z)是top blob,反向传播时就是要根据top blob diff得到bottom blob diff,所以要得到 

640?wx_fmt=png

下面求loss对z的第k个节点的梯度

640?wx_fmt=png

可见,传给groundtruth label节点和非groundtruth label是的梯度是不一样的。

forward就不看了,看看backward吧。

Dtype* bottom_diff = bottom[0]->mutable_cpu_diff();

Test_softmax_with_loss_layer.cpp

作为loss层,很有必要测试一下,测试也分两块,forward和backward。

Forward测试是这样的,定义了个bottom blob data和bottom blob label,给data塞入高斯分布数据,给label塞入0~4。

blob_bottom_data_(new

然后分别ingore其中的一个label做5次,最后比较,代码如下。

Dtype accum_loss = 0;

至于backwards,直接套用checker.CheckGradientExhaustive就行,它自己会利用数值微分的方法和你写的backwards来比较精度。

TYPED_TEST(SoftmaxWithLossLayerTest,

03

 eulidean_loss_layer.cpp

euclidean loss就是定位检测任务中常用的loss。

数学定义:

640?wx_fmt=png

forward & backward

void EuclideanLossLayer<Dtype>::Backward_cpu(const

testcpp就不说了。

04

sigmoid_cross_entropy_loss_layer.cpp

与softmax loss的应用场景不同,这个loss不是用来分类的,而是用于预测概率,所以在loss中,没有类别的累加项。

令第i个节点输入Xi ,输出总loss为l,label为 yi ,则loss定义如下

640?wx_fmt=png

其中

640?wx_fmt=png

上式子有个等价转换,这是为了更好的理解caffe 中forward的计算,公式太多我就直接借用了,如果遇到了原作者请通知我添加转载申明。

http://blog.youkuaiyun.com/u012235274/article/details/51361290

640?wx_fmt=jpeg

反向求导公式如下:

640?wx_fmt=jpeg

在经过上面的转换后,避开了数值计算不稳定的情况,caffe中的源码是对整个的bottom[0]->count进行计算累加的,没有区分label项。

for (int i = 0; i < bottom[0]->count(); ++i) {

反向传播很简单就不看了

05

contrastive_loss_layer.cpp

有一类网络叫siamese network,它的输入是成对的。比如输入两张大小相同的图,网络输出计算其是否匹配。所采用的损失函数就是contrastive loss

数学定义:

640?wx_fmt=png

d就是欧氏距离,y是标签,如果两个样本匹配,则为1,否则为0. 当y=1,loss就是欧氏距离,说明匹配的样本距离越大,loss越大。当y=0,就是与阈值margin的欧式距离,说明不匹配的样本,欧氏距离应该越大越好,超过阈值最好,loss就等于0.

反向传播其实就是分y=1和y=0两种情况下的euclidean loss的反向传导,由于与euclidean

06

hinge_loss_layer.cpp

这是一个多分类的loss, 也是SVM的目标函数,没有学习参数的全连接层InnerProductLayer+HingeLossLayer就等价于SVM。

数学定义:

640?wx_fmt=png

这个层的输入bottom[0]是一个N*C*H*W的blob,其中取值任意值,label就是N*1*1*1,其中存储的就是整型的label{0,1,2,…,k}。tnk  相当于SVM中的 

640?wx_fmt=png

参考博客http://blog.leanote.com/post/braveapple/Hinge-Loss-%E7%9A%84%E7%90%86%E8%A7%A3

假如预测类别数是K个,正确的label是M,预测值为tnk,即是第n个样本对第k类的预测值,那么当k=M时。

640?wx_fmt=png

当k!=M时,

640?wx_fmt=png

其中p=1,p=2分别对应L1范数和L2范数,以L1为例

640?wx_fmt=png

Forward

caffe_copy(count, bottom_data, bottom_diff);

只需要根据上面的转化后的式子,在正确label处乘以-1,然后累加即可。

再看反向梯度求导:

当进行一次forward之后,

bottom_diff=[max(0,1+t0),max(0,1+t1),...,max(0,1−tk),...,max(0,1−tK-1)]

我们现在要求梯度,期望是1+tk>0时为1,1-tk>0时为-1,其他情况为0,

当任意一项1+tk或者1-tk<0时,会有梯度=0。实际上就是求上面向量各自元素的符号,当1+tk>0,sign(1+tk),只是max(0,1−tk)这个应该反过来,当1-tk>0时,sign(tk-1)=-1。

代码如下:

Dtype* bottom_diff = bottom[0]->mutable_cpu_diff();

}

07

infogain_loss_layer.cpp

数学定义:

输入bottom_data是N*C*H*W维向量,bottom_label是N*1*1*1维向量,存储的就是类别数。它还有个可选的bottom[2],是一个infogain matrix矩阵,它的维度等于num_of_label * num_of_label。每个通道c预测的是第c类的概率,取值0~1,所有c个通道的概率相加=1。是不是像soft Max?

实际上它内部就定义了shared_ptr<Layer<Dtype> > softmax_layer_,用于映射输入。

Loss定义如下:

640?wx_fmt=png

其中 640?wx_fmt=png代表H的第ln行,K是所有类别数,如果H是一个单位矩阵,那么只有对角线有值,回到文章开头,这就是multinomial_logistic_loss_layer。当H是一个普通矩阵时,当groundtruth label为k, 

640?wx_fmt=png

 时,值也可以非零。这样各个类别之间就不存在竞争关系了,后来的mask-rcnn中实际上loss也就是去除了这重竞争关系。

Forward:

void InfogainLossLayer<Dtype>::Forward_cpu(const vector<Blob<Dtype>*>& bottom,

上面与multinomial_logistic_loss_layer的区别就在于每一项乘了infogain_mat[label_value *  num_labels_ + l]。

Backward:

for (int l = 0; l < num_labels_; ++l) {

这个,看了4篇了大家不妨自己推一推?不行咱再一起来

同时,在我的知乎专栏也会开始同步更新这个模块,欢迎来交流

https://zhuanlan.zhihu.com/c_151876233

注:部分图片来自网络


—END—

打一个小广告,我的摄影中的图像基础技术公开课程《AI 程序员码说摄影图像基础》上线了,主要从一个图像处理工程师的角度来说说摄影中的基础技术和概念,欢迎大家订阅交流。

640?wx_fmt=png

640?wx_fmt=jpeg

加入我们做点趣事

640?wx_fmt=jpeg

640?wx_fmt=jpeg

往期精彩

 

[caffe解读] caffe从数学公式到代码实现1-导论。

为了压榨CNN模型,这几年大家都干了什么。

[caffe解读] caffe从数学公式到代码实现2-基础函数类


caffe中forward过程总结 caffe中最重要的两个部分就是forward和backward的过程,farward是根据输入数据正向预测输入属于哪一类;backward是根据输出的结果求得代价函数,然后根据代价函数反向求去其相对于各层网络参数的梯度的过程。我们先对farward过程做一下总结。     caffe中有两个过程会设计到farward,test和train,这里我们以train训练过程为例。 int tr 阅读详情

相关推荐

Caffe学习(六)损失层及其参数设置

机器学习的目的就是通过对训练样本输出与真实值不一致的进行惩罚,得到损失Loss,然后采用一定的优化算法对loss进行最小优化,进而得到合理的网络权值。本文介绍Caffe中含有的常见的LossLayer及其参数设置方法 Caffe的LossLayer主要由6个: (1)ContrastiveLossLayer 对比损失函数主要用来训练siamese网络,改网络为专门处理同时输入两张图像的网

BryantLJ学习的地方 1万+

学习Caffe(五)浅析softmax cross entropy loss与sigmoid cross entropy loss

Caffe中的softmax loss可以看成最大似然估计 也可以从信息论的角度解释:即最小化估计分布与真实分布的差异。

goodluckcwl的专栏 1862

视觉定位避坑指南:基于双mark点的坐标转换常见错误排查

本文详细解析了工业视觉项目中基于双mark点的坐标转换常见错误及排查方法,涵盖旋转矩阵构建、坐标系原点选择、图像预处理优化等关键环节。通过实战案例和代码示例,帮助工程师避免定位偏差,提升系统精度,特别适用于自动化检测和精密制造场景。

7z8x2c4v6b9的博客 169

caffe Sigmoid cross entropy loss 交叉熵损失函数

Sigmoid 交叉熵损失函数(Sigmoid Cross Entropy Loss) study(3) 关于激活函数以及loss function" title="caffe study(3) 关于激活函数以及loss function" style="border:0px; max-width:100%; margin:0px; padding:0px; list-style:none"

u014114990的专栏 2万+

从模拟到实战:移远EC800M单片机MQTT接入OneNet全流程解析

本文详细解析了移远EC800M单片机通过MQTT协议接入OneNet平台的全流程,涵盖环境准备、模拟设备搭建、硬件迁移、数据交互调试及性能优化等关键步骤。针对常见问题如AT指令缓冲区溢出、心跳间隔设置等提供实战解决方案,帮助开发者高效实现物联网设备稳定接入。

weixin_29215815的博客 434

GNSS接收机性能测试全攻略:从实验室到真实场景

本文系统介绍了GNSS接收机从实验室到真实场景的完整性能测试流程。首先通过GNSS模拟器进行射频传导测试,评估接收机的基础性能;其次进行天线OTA测试,考察整机系统表现;最后通过精心设计的外场路测,在复杂环境中验证其实际定位精度与可靠性。文章强调,只有结合可控的实验室验证与多变的外场挑战,才能对接收机性能做出全面、真实的评价。

weixin_28365523的博客 519

【caffe解读】 caffe从数学公式到代码实现4-认识caffe自带的7大loss

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现4-认识caffe自带的7大lossz 本节说caffe中常见loss的推导,具体包含下面的cpp。 multinomial_logistic_loss_layer.cpp softmax_loss_layer.cpp euclidean_loss_layer.cpp sigmoid_cross_entr...

hacker_long的专栏 825

TPC好像是这么回事儿

TPC(Transmit Power Control)发送功率控制,本觉得就是控制一下发送功率,原理很简单,但看原版协议死活每搞懂什么意思,恼羞成怒!!!! 后来又看了一些贴子和cisco的相关功能介绍,再回头看协议,好像是这么一回事: 1、所谓TPC,是AP控制STA的发送功率的一种手段。在802.11d中,已定义了使用Country Element传递区域无线通信规定的信道和最大发送功率信息: 通过获取这些信息,STA可以确定自己应该遵守什么规则,可以用什么发送功率在哪些信道上通信。 2

两只勤劳的蜜蜂 8631

caffe中loss函数代码分析--caffe学习(16)

http://blog.youkuaiyun.com/u014381600/article/details/54341317接上篇:caffe中样本的label一定要从序号0开始标注–caffe学习(15) A: 1:数学上来说,损失函数loss值和label从0开始还是从1或者100开始是没有直接联系的,以欧式距离损失函数(Euclidean Loss)为例子: 2:铰链损失函数(Hinge Los

Camaro的专栏 6450

C/C++ LMS算法详解及源码

LMS(Least Mean Squares)算法是一种自适应滤波器算法,用于估计一个系统的参数,以使输出信号与期望信号之间的均方误差最小化。LMS算法通过使用梯度下降的方法,逐步调整自适应滤波器的权值来优化滤波效果。

希望我的博客,能帮上你解决学习中工作中所遇到的问题 3281

【OpenClaw从入门到精通】:Web控制台使用全解析——可视化配置与监控(2026实操版)

在OpenClaw的多种管理方式中,Web控制台提供了最直观、最友好的用户体验。通过图形化界面,用户可以轻松完成复杂的配置任务,实时监控系统状态,以及进行各种管理操作。对于不熟悉命令行的用户来说,Web控制台是最佳选择。

一键难忘的博客 1934

caffe源码解读(2)-center_loss_layer.cpp

center_loss公式定义 center_loss_layer.cpp源码解读 center loss,softmax loss在mnist数据集上的对比实验 定义 “Center Loss: simultaneously learning a center for deep features of each class and penalizing the distances

冬后晚晴的博客 943

Coverity本地增量C/C++代码检查(Linux)操作简介

Coverity 是一款精确的综合静态分析与应用安全测试 (SAST) 平台,它可以在编写代码时发现关键的缺陷和安全缺陷,防止它们变成安全漏洞、故障或维护缺陷。

1485

Caffe 中loss计算过程

Caffe 中loss计算过程

qf1028622561的博客 1253

网络系统管理专栏-配套练习+知识点详解

网络系统管理专栏-配套练习+知识点详解

bfq05234214的博客 685

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

Caffe 里 top[i]->cpu_diff() bottomp[i]->cpu_diff() 取出梯度,这些梯度在默认的情况下 caffe将其设置为0

Caffe 里 top[i]->cpu_diff() bottomp[i]->cpu_diff() 取出梯度,这些梯度在默认的情况下 caffe将其设置为0,只有在有梯度往前传播,top和bottom的梯度发生更新后,才会有所改变 this->type():Convolution top[0]->cpu_diff()[0]:0.000000 top[0]->cpu_diff()[1]:0.00

CNV_2305 4351

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Caffe中的损失函数解析

Caffe中的损失函数解析 导言 在有监督的机器学习中,需要有标签数据,与此同时,也需要有对应的损失函数(Loss Function)。 在Caffe中,目前已经实现了一些损失函数,包括最常见的L2损失函数,对比损失函数,信息增益损失函数等等。在这里做一个笔记,归纳总结Caffe中用到的不同的损失函数,以及分析它们各自适合的使用场景。 欧式距离损失函数(Euclidean Lo

lien0906的专栏 2071

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

解剖caffe:Forward 和 Backward

Forward和Backward是一个网络的基本计算。先考虑一个logistic regression分类器。前向通路使用输入计算输出,用于推理。计算模型表示的函数,前向通路从bottom到top。数据通过内积层传递到, 然通过softmax函数传递到以及softmax损失给反向通路在损失函数处开始,并计算关于输出的梯度。关于模型其余部分的梯度通过链式规则逐层计算。带有参数的层,比如INNER_P...

Rorn Shi 3409

修改caffe源代码从添加loss(层)函数开始

DeepLearning(基于caffe)实战项目(8)--修改caffe源代码从添加loss(层)函数开始 标签: Caffe实战项目LossLayer修改源代码 2017-05-27 19:03 479人阅读 评论(0) 收藏 举报 分类: Caffe实战项目(初级)(9) 作者同类文章X 版权声明

ShenBoosting的博客 806

机器学习中的 7 大损失函数实战总结(附Python演练)

介绍 想象一下-你已经在给定的数据集上训练了机器学习模型,并准备好将它交付给客户。但是,你如何确定该模型能够提供最佳结果?是否有指标或技术可以帮助你快速评估数据集上的模型? 当然是有的,简而言之,机器学习中损失函数可以解决以上问题。 损失函数是我们喜欢使用的机器学习算法的核心。但大多数初学者和爱好者不清楚如何以及在何处使用它们。 它们并不难理解,反而可以增强你对机器学习算法的理解...

TensorFlowNews 1517

Caffe loss 精讲

每一次训练迭代,都会向前传播,产生loss值。 Loss部分在solver文件中,有两个参数: 1. average_loss 默认值是1,Loss为单个iteration对应的loss; 当设置average_loss = n , 则Loss为n个Loss的均值,相当于做个均值滤波。 2. weight_decay 为正则项在Loss函数中的系数。如果过拟合,调大这个参数;如果欠拟合...

前进ing的博客 763

[caffe解读] caffe从数学公式到代码实现2-基础函数类

接着上一篇,本篇就开始读layers下面的cpp,先看一下layers下面都有哪些cpp。absval_layer.cpp其中,下面这些layer是不需要反向传播的,大部...

hacker_long的专栏 473

深度学习剖根问底:各种Loss大总结

1. 指数损失函数(Adaboost) 学过Adaboost算法的人都知道,它是前向分步加法算法的特例,是一个加和模型,损失函数就是指数函数。在Adaboost中,经过m此迭代之后,可以得到fm(x): Adaboost每次迭代时的目的是为了找到最小化下列式子时的参数α和G: 而指数损失函数(exp-loss)的标准形式如下 可以看出,Adaboost的目标式子就是指数损失,在...

BigCowPeking 9235

caffe 中的损失函数分析以及loss function

caffe 中的损失函数分析 http://blog.youkuaiyun.com/u014114990/article/details/47802993 http://blog.sina.com.cn/s/blog_eb3aea990102v3um.html 2015-08-20 09:21 508人阅读 评论(0) 收藏 举报 版权声明:本文为博

klzhang的专栏 2万+

【caffe解读】 caffe从数学公式到代码实现3-shape相关类

文章首发于微信公众号《与有三学AI》 [caffe解读] caffe从数学公式到代码实现3-shape相关类 接着上一篇说,本篇开始读layers下面的一些与blobshape有关的layer,比如flatten_layer.cpp等,具体包括的在下面; flatten_layer.cpp slice_layer.cpp split_layer.cpp tile_layer.cpp con...

hacker_long的专栏 884

caffe研究net_->Forward();/*网络前向传播*/

net_->Forward();/网络前向传播:计算出该测试图像属于哪个每个类别的概率也就是最终的输出层/net_->Forward();/*网络前向传播:计算出该测试图像属于哪个每个类别的概率也就是最终的输出层*/template <typename Dtype> const vector<Blob<Dtype>*>& Net<Dtype>::Forward(Dtype* loss) { i

计算机视觉算法、工程、产品 6612
上一篇: [caffe解读] caffe从数学公式到代码实现3-shape相关类
下一篇: [caffe解读] caffe从数学公式到代码实现5-caffe中的卷积
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值