深度学习心得

原创 已于 2024-05-04 20:07:30 修改 · 273 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

于 2024-05-04 20:06:30 首次发布
本文介绍了KLloss与softmax的结合用于学习one-hot分布，Pooling层在增强模型鲁棒性方面的角色，以及在减少参数时选择PCA降维的方法。特别提到了sklearn库中的PCA工具。此外，还澄清了cosine相似度的范围并非[0,1]，而是[-1,1]。

1. KL loss

其经常要与softmax一起使用，就是为了学习one-hot分布

2. 降维

Pooling层的作用是增加模型的鲁棒性，让模型对输入的少量变化不那么敏感。

如果真想通过降维，减少模型训练参数，那应该用PCA降维方法，

sklearn.decomposition.PCA

3. cosine的相似度是【-1，1】，不是【0，1】

masterShaw
关注
【深度学习心得（2）】
m0_51381111的博客
10-16 782
深入学习心得体会
深度学习心得（3）
dlhisme的博客
10-17 739
深度学习心得
Pytorch中KL loss
flyingluohaipeng的博客
11-26 4838
第三个参数reduction有三种取值，为 none 时，各点的损失单独计算，输出损失与输入（x）形状相同；为 mean 时，输出为所有损失的平均值；为 sum 时，输出为所有损失的总和。
知识蒸馏KL-loss解读
weixin_38252409的博客
12-01 3873
本文简单介绍知识蒸馏教师模型与学生模型使用KL loss方法。
KL散度loss和交叉熵loss的不同
between5and16的博客
03-10 2959
交叉熵loss 和 kl散度loss
klloss的解释
qq_38195610的博客
08-14 1510
p_loss = F.kl_div(F.log_softmax(p, dim=-1), F.softmax(q, dim=-1), reduction=‘none’)：计算从p到q的KL散度。q_loss = F.kl_div(F.log_softmax(q, dim=-1), F.softmax(p, dim=-1), reduction=‘none’)：计算从q到p的KL散度。需要注意的是，KL散度是不对称的，也就是说，D_{KL}(P||Q)不等于D_{KL}(Q||P)。
探索KL散度损失函数：一个深度学习中的关键工具
gitblog_00089的博客
04-13 1829
探索KL散度损失函数：一个深度学习中的关键工具 在机器学习和深度学习领域中，损失函数的选择是模型优化的关键。是一个由yihui-he开发的项目，它关注的是Kullback-Leibler（KL）散度作为损失函数的应用。本文将介绍KL-Loss的基本概念、技术实现、应用场景及特性，帮助开发者更好地理解和利用这一工具。 什么是KL散度损失？ KL散度是一种衡量两个概率分布之间差异的方法，常用于信息论和...
百度飞桨PaddlePaddle深度学习心得分享
12-21
【百度飞桨PaddlePaddle深度学习心得分享】 在本次的百度飞桨七日"Python小白逆袭大神"打卡营中，我有幸深入学习了Python基础、深度学习以及飞桨平台的相关知识。这次课程旨在帮助学员掌握Python语言，了解人工智能...
“学教评自能学案”深度学习心得.doc
最新发布
09-28
"学教评自能学案"深度学习心得，通过"先学后教，当堂训练"的教学模式，强调了学生自主学习的重要性，教师在教学中扮演着引导者和促进者的角色。这种模式不仅能够提高学生的学习兴趣和效率，还能够培养学生的学习能力...
教师读学习共同体走向深度学习心得体会(1).docx
07-21
在《学习共同体：走向深度学习》一书的学习中，作者陈静静博士提出教育应当具有生机、创意和乐趣。目前的教育情境中，部分教师因安于现状而缺乏自我学习和改变的动力，而那些渴望改变的教师则因缺乏方向感而感到迷茫...
使用KL-Loss在PyTorch中的实战教程
gitblog_00898的博客
09-03 757
使用KL-Loss在PyTorch中的实战教程 欢迎来到KL-Loss实战指南，本教程将引导您深入了解并应用由ethanhe42提供的KL-Loss开源项目。KL散度（Kullback-Leibler divergence）是一种衡量两个概率分布之间差异的重要工具，在深度学习的诸多场景中扮演着关键角色，如知识蒸馏、生成模型训练等。 1. 项目介绍 该项目聚焦于在PyTorch框架下实现Kullba...
KL loss
dekiang
10-21 6908
目录1. Motivation2. KL loss2.1 符号定义2.2 高斯分布2.3 Bounding Box Regression with KL Loss2.4 Variance Voting3. 实验 论文：Bounding box regression with uncertainty for accurate object detection 来源：CVPR 2019 1. Motivation 目标检测依赖于边界框回归来提高定位精度，而且通常只是直接预测出边界框偏移量，并未考虑边界框的不
【目标检测】21、KL-Loss：Bounding Box Regression with Uncertainty for Accurate Object Detection
呆呆的猫的博客
07-26 1254
大型目标检测数据集（如 COCO）的标注框都是比较清晰准确的，但也会存在一些模棱两可的情况，加大标注的难度。 如图 1a 和 1c 所示，当目标被部分遮挡且边界很不清晰的时候，标注框就很难判定。.........
KL-Loss 项目常见问题解决方案
gitblog_00173的博客
12-21 353
KL-Loss 项目常见问题解决方案 项目基础介绍 KL-Loss 是一个用于准确目标检测的边界框回归损失函数的开源项目。该项目通过学习边界框变换和定位方差，提高了各种架构的定位准确性。该项目主要使用了 Python 编程语言，并依赖于 PyTorch 深度学习框架。 新手常见问题及解决步骤 问题一：如何安装项目所需的依赖？ 问题描述：新手在开始使用该项目时，可能会遇到不知道如何安装项目依赖的问题...
KL loss：Bounding Box Regression with Uncertainty for Accurate Object Detection解读
Sesen的木屋
09-05 4062
Bounding Box Regression with Uncertainty for Accurate Object Detection (CVPR2019, 旷视) 该论文是旷视2019年提出的，主要是使目标边框更加清晰，提升定位精度，提出了一种新的边界框回归损失，同时完成边界框变换和定位差异。在目标检测数据集中，ground-truth边界框在一些情况下存在固有的不确定性。 如下图所示...
【Loss总结】适用与弱监督语义分割中的各类loss
川川自溢的博客
03-08 1706
【Loss总结】适用与弱监督语义分割中的各类loss
Pytorch中的KL散度
曼车斯基的博客
07-16 2313
Pytorch中的KL散度。
KL-Loss
fanre的专栏
03-12 3211
cross entropy，logistic loss 和 KL-divergence的关系和区别
热门推荐
Adrianna的专栏
07-14 2万+
先给出结论： cross entropy和KL-divergence作为目标函数效果是一样的，从数学上来说相差一个常数。 logistic loss 是cross entropy的一个特例 1. cross entropy和KL-divergence 假设两个概率分布p(x)p(x)p(x)和q(x)q(x)q(x)， H(p,q)H(p,q)H(p,q)为cross entro...
计算机网络新手的深度学习心得：云计算、三网融合与关键技术
计算机网络课程学习心得体会 在深入学习计算机网络课程的过程中，我深刻体会到这门学科的复杂性和实用性。以前，我对网络的认识仅停留在日常使用的层面，认为它是一个便捷的工具，然而实际的学习让我意识到网络世界...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值