KL Loss

原创 于 2025-09-01 23:04:44 发布 · 256 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

背景

KL Loss主要监督的是模型输出分布 VS 目标分布 之间的相似性
它不直接监督位置、速度等数值，而是监督模型「认为哪种可能性更大」是否和目标一致。
在多模态预测、知识蒸馏、策略学习中尤为重要。

KL 散度主要监督什么？

项目 监督内容 应用场景
分布相似性 模型输出的概率分布（预测） vs 目标分布（通常是软标签） 知识蒸馏、轨迹分布、行为克隆等
不确定性建模 模型输出多个选择的分布（如多轨迹） vs 真值分布（soft target） 轨迹预测、多模态输出
知识对齐 学生网络预测分布 vs 教师网络的 soft 分布 蒸馏
行为模仿/规划策略 模型生成的动作分布 vs 专家动作分布 模仿学习、策略学习

具体例子

  1. 知识蒸馏（Knowledge Distillation）

监督：


KL(Teacher(logits).softmax || Student(logits).softmax)

目标：让学生网络模仿教师网络输出的“概率分布”，而不是 hard label。

  1. 轨迹预测（Trajectory Prediction）

                

                
                
        

    


  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
tensorflow 1.15 KL loss 代码

				
			

			

				

					Love-Coding
				

				

					07-26
					
					1051
					
				

			

		

		

			
				
from tensorflow.python.keras.utils import losses_utils

kl = tf.keras.losses.KLDivergence(
  reduction = losses_utils.ReductionV2.NONE, 
  name = 'kullback_leibler_divergence')
 
kl_loss = kl(logit1, logit2)




			
		

	



                

            
              



	

		

			

				
					
kl散度的理解_变分自编码器KL散度的Latent Loss推导

				
			

			

				

					weixin_39642761的博客
				

				

					12-03
					
					1090
					
				

			

		

		

			
				
【搬运自同人博客】变分自编码器Latent Loss推导​blog.youkuaiyun.com找中文资料不太好找，原论文里面有简略的推导，我稍微把论文里略过的补充了一下，对有需要的同学仅供参考。都是从pdf截图，因为这是以前在word里写好的，就不再重写一遍了。参考文献：Auto-Encoding Variational Bayes，authors:Diederik P Kingma, Max Wellin...

			
		

	



              


  
              

                


	

		

			

				
					
KL loss

				
			

			

				

					dekiang
				

				

					10-21
					
					6913
					
				

			

		

		

			
				
目录1. Motivation2. KL loss2.1 符号定义2.2 高斯分布2.3 Bounding Box Regression with KL Loss2.4 Variance Voting3. 实验
论文：Bounding box regression with uncertainty for accurate object detection
来源：CVPR 2019
1. Motivation


目标检测依赖于边界框回归来提高定位精度，而且通常只是直接预测出边界框偏移量，并未考虑边界框的不

			
		

	





	

		

			

				
					
KL loss：Bounding Box Regression with Uncertainty for Accurate Object Detection解读

				
			

			

				

					Sesen的木屋
				

				

					09-05
					
					4068
					
				

			

		

		

			
				
Bounding Box Regression with Uncertainty for Accurate Object Detection

(CVPR2019, 旷视)

该论文是旷视2019年提出的，主要是使目标边框更加清晰，提升定位精度，提出了一种新的边界框回归损失，同时完成边界框变换和定位差异。在目标检测数据集中，ground-truth边界框在一些情况下存在固有的不确定性。 如下图所示...

			
		

	



		

			
		



	

		

			

				
					
【Loss总结】适用与弱监督语义分割中的各类loss

				
			

			

				

					川川自溢的博客
				

				

					03-08
					
					1715
					
				

			

		

		

			
				
【Loss总结】适用与弱监督语义分割中的各类loss

			
		

	





	

		

			

				
					
KL-Loss

				
			

			

				

					fanre的专栏
				

				

					03-12
					
					3213
					
				

			

		

		

			
				

			
		

	





	

		

			

				
					
VAE训练过程kl loss不断增大是什么原因

					
最新发布

				
			

			

				

					09-29
				

			

		

		

			
				
Variational Autoencoder（VAE）训练过程中KL散度损失（KL loss）不断增大可能有以下原因：  ### 模型架构问题 - **编码器能力过强**：若编码器能力远超解码器，编码器可能会将输入数据映射到非常复杂的分布中，使得...

			
		

	





	

		

			

				
					
Kullback-Leibler (KL) loss

				
			

			

				

					P_Y_L_U的博客
				

				

					08-30
					
					2691
					
				

			

		

		

			
				
Kullback-Leibler(KLKL\mathrm {KL}) loss 
（离散）For discrete probability distributions F(x)F(x)F(x) and G(x)G(x)G(x), the Kullback-Leibler (KLKL\mathrm {KL}) loss from F(x)F(x)F(x) to G(x)G(x)G(x) is def...

			
		

	





	

		

			

				
					
Pytorch中KL loss

				
			

			

				

					flyingluohaipeng的博客
				

				

					11-26
					
					4862
					
				

			

		

		

			
				
第三个参数reduction有三种取值，为 none 时，各点的损失单独计算，输出损失与输入（x）形状相同；为 mean 时，输出为所有损失的平均值；为 sum 时，输出为所有损失的总和。

			
		

	





	

		

			

				
					
klloss的解释

				
			

			

				

					qq_38195610的博客
				

				

					08-14
					
					1533
					
				

			

		

		

			
				
p_loss = F.kl_div(F.log_softmax(p, dim=-1), F.softmax(q, dim=-1), reduction=‘none’)：计算从p到q的KL散度。q_loss = F.kl_div(F.log_softmax(q, dim=-1), F.softmax(p, dim=-1), reduction=‘none’)：计算从q到p的KL散度。需要注意的是，KL散度是不对称的，也就是说，D_{KL}(P||Q)不等于D_{KL}(Q||P)。

			
		

	





	

		

			

				
					
【目标检测】21、KL-Loss：Bounding Box Regression with Uncertainty for Accurate Object Detection

				
			

			

				

					呆呆的猫的博客
				

				

					07-26
					
					1263
					
				

			

		

		

			
				
大型目标检测数据集（如 COCO）的标注框都是比较清晰准确的，但也会存在一些模棱两可的情况，加大标注的难度。

如图 1a 和 1c 所示，当目标被部分遮挡且边界很不清晰的时候，标注框就很难判定。.........

			
		

	





	

		

			

				
					
知识蒸馏KL-loss解读

				
			

			

				

					weixin_38252409的博客
				

				

					12-01
					
					3920
					
				

			

		

		

			
				
本文简单介绍知识蒸馏教师模型与学生模型使用KL loss方法。

			
		

	





	

		

			

				
					
探索KL散度损失函数：一个深度学习中的关键工具

				
			

			

				

					gitblog_00089的博客
				

				

					04-13
					
					1842
					
				

			

		

		

			
				
探索KL散度损失函数：一个深度学习中的关键工具
在机器学习和深度学习领域中，损失函数的选择是模型优化的关键。是一个由yihui-he开发的项目，它关注的是Kullback-Leibler（KL）散度作为损失函数的应用。本文将介绍KL-Loss的基本概念、技术实现、应用场景及特性，帮助开发者更好地理解和利用这一工具。
什么是KL散度损失？
KL散度是一种衡量两个概率分布之间差异的方法，常用于信息论和...

			
		

	





	

		

			

				
					
使用KL-Loss在PyTorch中的实战教程

				
			

			

				

					gitblog_00898的博客
				

				

					09-03
					
					764
					
				

			

		

		

			
				
使用KL-Loss在PyTorch中的实战教程
欢迎来到KL-Loss实战指南，本教程将引导您深入了解并应用由ethanhe42提供的KL-Loss开源项目。KL散度（Kullback-Leibler divergence）是一种衡量两个概率分布之间差异的重要工具，在深度学习的诸多场景中扮演着关键角色，如知识蒸馏、生成模型训练等。
1. 项目介绍
该项目聚焦于在PyTorch框架下实现Kullba...

			
		

	





	

		

			

				
					
KL-Loss 项目常见问题解决方案

				
			

			

				

					gitblog_00173的博客
				

				

					12-21
					
					356
					
				

			

		

		

			
				
KL-Loss 项目常见问题解决方案
项目基础介绍
KL-Loss 是一个用于准确目标检测的边界框回归损失函数的开源项目。该项目通过学习边界框变换和定位方差，提高了各种架构的定位准确性。该项目主要使用了 Python 编程语言，并依赖于 PyTorch 深度学习框架。
新手常见问题及解决步骤
问题一：如何安装项目所需的依赖？
问题描述：新手在开始使用该项目时，可能会遇到不知道如何安装项目依赖的问题...

			
		

	





	

		

			

				
					
KL散度loss和交叉熵loss的不同

				
			

			

				

					between5and16的博客
				

				

					03-10
					
					2961
					
				

			

		

		

			
				
交叉熵loss 和 kl散度loss

			
		

	





	

		

			

				
					
损失函数汇总

				
			

			

				

					weixin_44994838的博客
				

				

					04-21
					
					1758
					
				

			

		

		

			
				
在多分类问题中，KL（Kullback-Leibler）损失通常用于衡量模型预测的概率分布与真实标签的概率分布之间的差异。在多分类任务中，通常使用交叉熵损失（Cross Entropy Loss）作为主要的损失函数，但KL损失可以作为附加的损失函数或正则化项来提供额外的信息，尤其在一些特定场景下。假设有一个多分类任务，模型预测的概率分布为Q，真实标签的概率分布为P。KLP∣∣Q∑Pi​∗logQi​Pi​​其中，Pi​和Qi​。

			
		

	





	

		

			

				
					
KL-Loss 项目使用教程

				
			

			

				

					gitblog_00607的博客
				

				

					08-10
					
					392
					
				

			

		

		

			
				
KL-Loss 项目使用教程
1. 项目的目录结构及介绍
KL-Loss 项目的目录结构如下：
KL-Loss/
├── data/
│   └── README.md
├── models/
│   ├── __init__.py
│   └── model.py
├── utils/
│   ├── __init__.py
│   └── utils.py
├── config/
│   └─...

			
		

	





	

		

			

				
					
Kl loss

				
			

			

				

					05-09
				

			

		

		

			
				
### KL 散度的定义  KL 散度（Kullback-Leibler Divergence），也被称为相对熵，是一种衡量两个概率分布 \( P \) 和 \( Q \) 差异的方法。具体来说，它描述了一个分布相对于另一个分布的信息丢失量[^1]。  其数学...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
Fighting_1997

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值