Caffe源码解读（一）------loss层之softmax_loss_layer.cpp

最新推荐文章于 2019-03-11 11:04:09 发布
最新推荐文章于 2019-03-11 11:04:09 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Caffe填坑之旅 文章标签： Caffe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/city_to_sky/article/details/80301702
本文深入解析Caffe中用于损失计算的softmax_loss_layer.cpp源代码，探讨其在深度学习模型训练中的作用，帮助理解Caffe的内部工作原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这几天需要自己写个loss层，因此把caffe源码研读了下，在此记录下经验，方便后人以及自己日后复习。
首先看看caffe前向传播的工作流程，即net.cpp中的ForwardFromTo函数：
可以看到，该函数通过一个for循环来对每一个layer执行前向传播传播。具体的传播函数在layer.hpp中可以找到：
可以看到在这个函数中，最主要的就是执行了Reshape和Forward_cpu函数，剩下的就是对数据的一些处理，我们暂时先不用管它。然后由于Reshape和Forward_cpu都是虚函数，都是由具体的子类来实现的，即softmax_loss_layer.cpp中。接下来我们仔细看看softmax_loss_layer.cpp: 
 


  namespace caffe { template <typename Dtype> void SoftmaxWithLossLayer<Dtype>::LayerSetUp( const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) { LossLayer<Dtype>::LayerSetUp(bottom, top); 

 


  LayerParameter softmax_param(this


                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
caffe层解析之softmaxwithloss层

				
			

			

				

					Iriving_shu的博客
				

				

					11-22
					
					1万+
					
				

			

		

		

			
				
理论caffe中的softmaxWithLoss其实是：  
softmaxWithLoss = Multinomial Logistic Loss Layer + Softmax Layer 
其核心公式为： 
 
其中，其中y^为标签值，k为输入图像标签所对应的的神经元。m为输出的最大值，主要是考虑数值稳定性。 
 
反向传播时： 
 
对输入的zj进行求导得： 
Caffe中使用首先在Caff

			
		

	



                

            
              



	

		

			

				
					
Caffe源码解读: Softmax_loss_Layer的前向与反向传播

				
			

			

				

					zyf19930610的专栏
				

				

					05-05
					
					923
					
				

			

		

		

			
				
1,前向传播
分为两步：1，计算softmax概率prob_data，直接使用softmaxlayer的forward函数；
                  2，计算loss，采用交叉熵，即每个第i类数据的loss为-log(prob(i))。
template 
void SoftmaxWithLossLayer::Forward_cpu(
    const vector*>& bo

			
		

	



              


  
              

                


	

		

			

				
					
Caffe源码:Softmax_loss_layer.cpp

				
			

			

				

					zzqiuzz的博客
				

				

					12-05
					
					498
					
				

			

		

		

			
				
@brief: Caffe损失层反向传播上图是LeNet中前向传播的最后一层，也是反向传播的第一层。SoftmaxLayer作用是将网络的最后一层ip2的10个输出神经元zi(i∈(1,10))z_i  (i\in(1,10))通过函数ff 由浮点数映射到[0，1]之间的概率值,ff 的具体形式为f(zy)=ezy−m∑10iezi−mf(z_y)=\frac{e^{z_y-m}}{\sum_i^{

			
		

	





	

		

			

				
					
caffe softmax_loss layer 解析

				
			

			

				

					weixin_NineDays66
				

				

					06-22
					
					838
					
				

			

		

		

			
				
按理说每一层应该都要求一层梯度，其中包括对权值，对输入数据，对偏置分别求取梯度。但是在softmax with loss layer这一层求取梯度的一些过程被省去了，首先这一次只是一个激活函数层，没有权值和偏置参数，然后我们只需要对输入数据求取梯度，softmax with loss layer的输入数据其实表示的是原始输入数据相对于各个标签的打分，而对于代价函数对这个输入的梯度已经有专门的迭代算...

			
		

	



		

			
		



	

		

			

				
					
caffe源码解读(1)－softmax_loss_layer.cpp

				
			

			

				

					冬后晚晴的博客
				

				

					01-24
					
					729
					
				

			

		

		

			
				
softmax公式定义
caffe源码解读






定义


  “softmax function is a generalization of the logistic function that maps a length-p vector of real values to a length-K vector of values”更多解释，可参考ＵＦＬＤＬ教程链接，以及知乎回答链接。

			
		

	





	

		

			

				
					
SSD源码解读 - multibox_loss_layer

				
			

			

				

					wyg1997
				

				

					09-13
					
					1538
					
				

			

		

		

			
				
上一篇博客说了DetectionOut层怎么从conf、loc、prior中获取检测框，是检测的关键代码。

现在我们回到训练环节，看一下Mutibox层是怎么计算loss并完成反向传播的。





首先贴一个MutiboxLoss层的prototxt配置：

layer {
  name: "mbox_loss"
  type: "MultiBoxLoss"
  bottom: "CatBac...

			
		

	





	

		

			

				
					
caffe源码分析-layer

				
			

			

				

					常思考->有目标->重实践->善反思
				

				

					10-07
					
					1515
					
				

			

		

		

			
				
本文主要分析caffe layer层，主要内容如下：


从整体上说明下caffe的layer层的类别，以及作用


通过proto定义与类Layer简要说明下Layer的核心成员变量;


Layer类的核心成员函数



1. 类Layer overview
caffe中的Layer主要分为如下几个模块：

输入层Data Layers

Data Layers定义了caffe中网络的输入，依...

			
		

	





	

		

			

				
					
Faster R-CNN论文及源码解读

				
			

			

				

					Zachary_Co的博客
				

				

					12-25
					
					1万+
					
				

			

		

		

			
				
原文站点：https://senitco.github.io/2017/09/02/faster-rcnn/  R-CNN是目标检测领域中十分经典的方法，相比于传统的手工特征，R-CNN将卷积神经网络引入，用于提取深度特征，后接一个分类器判决搜索区域是否包含目标及其置信度，取得了较为准确的检测结果。Fast R-CNN和Faster R-CNN是R-CNN的升级版本，在准确率和实时性方面都得到了较大

			
		

	





	

		

			

				
					
Caffe | 自定义字段和层

				
			

			

				

					yuanCruise
				

				

					01-20
					
					545
					
				

			

		

		

			
				
1.自定义字段
最近在老版本的caffe上跑resnext网络的时候出现如下所示的bug，正如我们上一篇文章Caffe | 核心积木Layer层类详解中说到的，在caffe.proto文件的PoolingParameter中没有ceil_mode这个field字段。因此只有在源码中添加这个参数以及相关实现代码，并重新编译caffe。
Message type “caffe.PoolingParam...

			
		

	





	

		

			

				
					
caffe源码分析--softmax_layer.cpp

				
			

			

				

					linger(心怀梦想，活在当下，知乎ID：linger liu)
				

				

					06-22
					
					1万+
					
				

			

		

		

			
				
// Copyright 2013 Yangqing Jia
//
#include 
#include 

#include "caffe/layer.hpp"
#include "caffe/vision_layers.hpp"
#include "caffe/util/math_functions.hpp"

using std::max;

namespace caffe {

/**

			
		

	





	

		

			

				
					
caffe源码分析:softmax_layer.cpp && softmax_loss_layer.cpp

				
			

			

				

					Cheese_pop的博客
				

				

					04-11
					
					2442
					
				

			

		

		

			
				
本文仅分析了softmax_layer.cpp 和 softmax_loss_layer.cpp两个文件中的forward函数，backward函数有待补充。1、softmax_layer.cppsoftmax function设有m个已标记样本，σ(z)=(σ1(z),σ2(z),...,σm(z))\sigma\mathit(z)=(\sigma_1(\mathit{z}),\sigma_2(\

			
		

	





	

		

			

				
					
caffe层解读系列-softmax_loss

				
			

			

				

					爱吃鱼的猫
				

				

					04-01
					
					1016
					
				

			

		

		

			
				
博文地址：http://blog.csdn.net/shuzfan/article/details/51460895





Loss Function

softmax_loss的计算包含2步：


（1）计算softmax归一化概率





（2）计算损失





这里以batchsize=1的2分类为例： 
设最后一层的输出为[1.2 0

			
		

	





	

		

			

				
					
Caffe源码 - SoftmaxWithLossLayer

				
			

			

				

					长风破浪会有时，直挂云帆济沧海
				

				

					06-13
					
					2704
					
				

			

		

		

			
				
Softmax with Loss Layer
网络层 type: SoftmaxWithLoss
Doxygen Documentation
头文件: ./include/caffe/layers/softmax_loss_layer.hpp
CPU 代码: ./src/caffe/layers/softmax_loss_layer.cpp
CUDA GPU 代码: ./src/caffe/lay

			
		

	





	

		

			

				
					
SoftmaxWithLossLayer 详细讲解

				
			

			

				

					luo2007专栏Gods determine what you're going to be！
				

				

					11-02
					
					762
					
				

			

		

		

			
				
SoftmaxWithLossLayer 原理分析及caffe代码实现

			
		

	





	

		

			

				
					
caffe SoftmaxWithLossLayer

				
			

			

				

					无左无右的博客
				

				

					03-11
					
					556
					
				

			

		

		

			
				
lenet为例:: SoftmaxWithLossLayer在前向的时候调用softmax计算概率.类SoftmaxWithLossLayer包含类SoftmaxLayer的实例。其中SoftmaxLayer层在正向传导函数中将6410的bottom_data，通过计算得到6410的top_data。这可以理解为输入数据为64个样本，每个样本特征数量为10，计算这64个样本分别在10个类别上的概率...

			
		

	





	

		

			

				
					
学习笔记: 源码 softmax_loss_layer.cpp 略析

				
			

			

				

					smallplum123的博客
				

				

					05-16
					
					889
					
				

			

		

		

			
				
SoftmaxWithLossLayer


SoftmaxWithLossLayer 的功能相当于 SoftmaxLayer + MultinomialLogisticLossLayer。
但是直接使用SoftmaxWithLossLayer 会使得计算更方便，速度更快，而且计算精度也会提高。
关于解释，可以参考文末的链接。


SoftmaxWithLossLayer 主要也是

			
		

	





	

		

			

				
					
caffe常用层Convolution，SoftmaxLayer和SoftmaxLossLayer原理解析

				
			

			

				

					bemyself24
				

				

					07-08
					
					3043
					
				

			

		

		

			
				
写在前面：昨天面试，面试官问各种关于caffe的问题，之前以为自己对caffe很熟，但是竟然一问三不知，深受打击。主要这段时间一直在看C++基础算法部分，都没怎么复习caffe，看来是人老了，脑子跟不上了，趁着双休，好好把caffe过一遍。主要是对常用层原理的一些说明 
参考caffe的api document：http://caffe.berkeleyvision.org/doxygen/anno

			
		

	





	

		

			

				
					
Caffe  softmax_layer.cpp学习

				
			

			

				

					CNV_2305
				

				

					02-28
					
					1385
					
				

			

		

		

			
				
目录目录
首先需要注意的
Forward_cpu函数
backward_cpu函数
backward_cpu函数实现说明首先需要注意的：
  整个网络的参数的 gradient 的计算方法是从顶层出发向后，在 层的时候，会拿到从 得到的 也就是 ，然后需要做两个计算：首先是自己层内的参数的 gradient，比如如果是一个普通的全连通内积层，则会有参数 和 bias 参数 ，根据刚才的 Chain

			
		

	





	

		

			

				
					
Caffe框架源码剖析(9)—损失层SoftmaxWithLossLayer

					
热门推荐

				
			

			

				

					Rolin的专栏
				

				

					09-20
					
					1万+
					
				

			

		

		

			
				
类SoftmaxWithLossLayer包含类SoftmaxLayer的实例。其中SoftmaxLayer层在正向传导函数中将100*10的bottom_data，通过计算得到100*10的top_data。这可以理解为输入数据为100个样本，每个样本特征数量为10，计算这100个样本分别在10个类别上的概率。公式如下：

			
		

	





	

		

			

				
					
Intel-Caffe第三方库MKLML_LNX_2019.0.3.20190220使用指南

				
			

			

				

					
				

			

		

		

			
				
用户只需要将该压缩文件解压到指定的/caffe-intel-1.1.6/external文件夹下，便可以集成到caffe-intel-1.1.6版本中使用。"  知识点详解:  1. Caffe深度学习框架：Caffe是由伯克利人工智能研究中心(BAIR)主导开发的一...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值