笔记 - 深度学习脉络整理：2.损失函数

最新推荐文章于 2025-03-04 21:50:05 发布
最新推荐文章于 2025-03-04 21:50:05 发布
阅读量224 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： AI 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chen_holy/article/details/91492766
本文深入探讨了深度学习中关键的损失函数概念，包括softmax、sigmoid及其对应的损失函数，对比了它们之间的区别，并讨论了欧氏损失及损失函数加权的重要性。文章还提到了对softmax loss的改进思路。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 脉络结构
1. 结构
2. 损失
3. 优化

在这里插入图片描述
在这里插入图片描述

思考：
为什么使用softmax
softmax存在的问题
交叉熵损失的含义

  • 题外话：清楚原理之后，可以对它进行改进
使用 softmax 的时候，有一个默认的前提，就是每个物体只属于一类
比如人脸识别，每张脸只能对应一个人

在这里插入图片描述
在这里插入图片描述

思考：

  1. sigmod二分类的Loss，与softmax多分类的Loss 的区别
  2. sigmod 与 softmax的 区别

欧氏损失

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

  • 损失函数加权

在这里插入图片描述

  • 样本加权

在这里插入图片描述

在这里插入图片描述

  • 对softmax loss 进行改进

---

【深度学习|学习笔记】 Feed-Forward Neural Network（前馈神经网络，FFNN）详解，附代码
2401_89898861的博客
05-08 1131
【深度学习|学习笔记】 Feed-Forward Neural Network（前馈神经网络，FFNN）详解，附代码
深度学习最全面试题总结（一）
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-04 2万+
导读：本系列深度学习面试题系列总结，资料集合包含机器学习、深度学习等各系列常见问题，可配合下列资料一起学习，内容参考Github及网络资源，仅供个人学习。侵权联系删除！
深度学习实例——新冠人数预测
最新发布
xiaobai037的博客
03-04 917
一个深度学习实例
【深度学习-最简单的回归项目】新冠疫情预测
m0_75011295的博客
01-08 1088
美国有40个州， 这四十个州呢 ，统计了连续三天的新冠阳性人数，和每天的一些社会特征，比如带口罩情况， 居家办公情况等等。现在有一群人比较坏，把第三天的数据遮住了，我们就要用前两天的情况以及第三天的特征，来预测第三天的阳性人数。但幸好的是，我们还是有一些数据可以作为参考的，就是我们的训练集。用训练集训练模型并且由训练的模型预测第三天阳性人数。本项目在最基础的回归模型上，增加了正则化和相关系数两种优化方式。
基于深度学习的新冠疫情数据分析
rookiefish的博客
06-25 5347
在全球抗击新型冠状病毒肺炎（COVID-19）疫情的过程中，合理的疫情传播预测对于疫情防控有重要参考意义。为了对病毒传播进行合理预测，针对传统疫情传播预测模型存在的不足，在BP神经网络提出一种组合式神经网络的疫情传播预测模型，并将其应用于湖北省1月29日-3月15日每日新增确诊人数预测及湖北省每日累计确诊人数预测。预测结果分析显示，该神经网络预测模型预测结果可靠有效。模型性能分析结果表明，组合式神经网络预测模型平均相对误差（MRE）不超过0.16，均方误差（MSE）不超过0.1，均方根误差（RMSE）为0.
【毕业设计】深度学习LSTM新冠数据预测
HUXINY的博客
07-21 7182
🔥这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于深度学习的新冠疫情预测算法研究与实现🥇学长这里给一个题目综合评分(每项满分5分)难度系数4分工作量4分创新点3分🧿httpshttpshttpshttpshttpshttpshttpshttpshttpshttps。...
机器学习知识框架
Lau_Sen的博客
06-06 1424
参数参数分为两种：可学习得到的参数，和超参数。 机器学习可以归结为学习一个映射函数f : x → y，将输入变量 x映射为输出变量y。一般我们可以假设映射函数为y = f(x, θ)。其中θ 即为函 数的参数。参数可以通过学习算法进行学习。除了可学习的参数之外，还有一类参数是用来定义模型结构或训练策略的， 这类参数叫做超参数（Hyper-Parameter）。超参数和可学习的参数不同，通常是按照人...
笔记 - 深度学习脉络整理：1.基础结构单元
chen_holy的博客
06-12 787
资料： 深度学习基础课程 深度学习大讲堂 - 首期第三讲：深度学习基础 概括图 基础结构单元 所有op得知道是什么意思 全连接层的op 卷积层的op … 激活函数 为什么说激活函数是神经网络非线性性的来源 激活函数的取值范围 激活函数的导数 损失函数 调整网络： 调网络结构 调损失函数 损失函数的物理意义 损失函数的导数 网络训练 误差反向传播算法 如何做参数...
李宏毅深度学习笔记-P1机器学习介绍
yzz19920820的博客
11-14 390
好了，今天开始了李宏毅先生机器学习课程的自学，千里之行始于足下，P1介绍篇章是一个介绍性的概括章节，主要讲清楚了这门学科的几个基本问题。 总结起来这一节主要说了两个问题，when & what，如下图1所示是机器学习发展的大致脉络，就我看来主要有两个时间点，第一个是19世纪80年代，此时AI界开始使用机器学习的方法来实现人工智能的目标（个人理解是放弃了handcrafted的规则推导，使用的是以概率论为基础的机器学习），第二个是2010年左右开始的深入，提出了深度学习的概念，是在基础的机器学习模
吴恩达深度学习笔记
zjn1174962912的博客
09-29 887
吴恩达深度学习笔记
深度学习7日入门-CV疫情特辑心得
luciferaaa的专栏
04-09 852
深度学习7日入门-CV疫情特辑心得 学习后感觉的整体感觉：内容安排非常紧凑, 课件内容很准确，作业有针对性，比赛题目比较难。 下面从内容上的回顾一下课程内容： 首先，小白需要自学预习课（不过这部分内容在day5发不出来，稍微有点晚)。预习课主要熟悉Python语言，Paddle基本使用，NoteBook使用及深度学习基础等。这一部分重点是熟悉Python语法和工具使用。学习内容中提供的...
百度- 深度学习7日入门-CV疫情特辑
qq_33627496的博客
04-07 537
百度paddlepaddle -深度学习7日入门-CV疫情特辑：https://aistudio.baidu.com/aistudio/course/introduce/1149 1.day01 新冠疫情可视化 github:https://github.com/ArseneLupinhb/new_viruses 2.day02 手势识别 github:https://github....
【深度学习】在PyTorch中使用 LSTM 进行新冠病例预测
fengdu78的博客
12-28 7603
时间序列数据，顾名思义是一种随时间变化的数据。例如，24 小时时间段内的温度，一个月内各种产品的价格，特定公司一年内的股票价格。长短期记忆网络(LSTM)等高级深度学习模型能够捕捉时间序列...
深度学习——知识点总结3(损失函数Loss)
07-08 8351
Q：损失函数有几种？原理是什么？有什么特点？ 损失函数（loss function）是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： 　　其中，前面的均值函数表示...
笔记 - 概率论：随机变量与独立同分布
chen_holy的博客
07-09 8701
参考文章 总体与样本的理解 从整体抽出一个个体，就是对总体X进行一次观察并记录结果。在相同条件下对总体进行n次独立重复观察。 将n次观察结果按照试验顺序记为X1,X2,..,XnX1,X2,..,Xn。 它们是相互独立的，且都是与X具有相同分布的随机变量。 X1,X2,..,XnX1,X2,..,Xn称之为来自总体X的一个简单随机样本 随机变量 随机变量是指变量的值无法预先确定仅以一定的可能性(...
笔记 - 卷积网络：卷积输出张量shape计算
chen_holy的博客
06-11 4792
前置： 影响shape形状的因素： 1.卷积核大小 2.stride步长 3.padding模式 公式： K – 卷积核数量 F – 卷积核大小 S – 步长 P – 外围填充的层数 运用 显然valid模式下，直接卷，不够就丢弃 我推导的valid模式下的计算方式(以 W 举例)： W2 = (W1 - F)/S + 1 SAME模式 如何确定P 利用公式1计算...
笔记：支持向量机（SVM）决策边界求解推导
chen_holy的博客
04-28 4702
笔记 - 卷积神经网络：学习率与权重初始化方式 与 网络性能之间的关系
chen_holy的博客
06-06 4377
参考 学习率与权重初始化对网络性能的影响分析 随机实验2次 学习率大容易振荡
笔记 - 卷积神经网络：卷积核数量 与 网络性能之间的关系
chen_holy的博客
06-06 3036
参考 卷积滤波器核的数量与网络性能之间的关系 当前神经网络只有 一层卷积层，一层activation，一层池化，一层全连接 难道卷积核数量越多，准确率就越高吗，那还要深层网络干嘛？？ ...
深度学习资料整理：学习笔记与网上专家贡献汇总
在深度学习学习笔记整理系列中，可能包含了众多领域专家的研究成果和实践经验，这些资料的整理有助于读者快速掌握深度学习的核心技术和应用方法。学习资料可能包括： - **基础理论**: 梯度下降法、神经网络基础、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值