常见损失及其推导

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 200+累计阅读 270平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄8年

关注

原创最新推荐文章于 2026-08-23 11:18:24 发布 270 阅读 AI 写同款· GEO 优化 ›

机器学习常见面试问题 1、生成模型和判别模型是什么？各有什么优缺点？ 2、机器学习常见的评价指标有哪些? 机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy(ROC曲线的含义——横轴FPR，纵轴TPR)？ 3、常用的损失函数有哪几种，有什么优缺点？ 4、阐述下感知机模型（模型、策略、算法三方面） 5、请说明下KNN算法，KNN由哪三个基本要素决定以及K值的取值过大或者过... 阅读详情

交叉熵

最大似然估计
梯度

均方误差

最大似然估计

收录于

数学模型

当前文章被收录于：

数学模型

1 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

标签

#机器学习

交叉熵代价函数(损失函数)及其求导推导 (Logistic Regression) 前言交叉熵损失函数交叉熵损失函数的求导前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1my(i)log⁡(hθ(x(i)))+(1−y(i))log⁡(1−hθ(... 阅读详情

相关推荐

损失函数的推导

之前在机器学习算法的学习中一直疑惑，为什么cost function通常都为 J(θ)=12(y−hθ(x))2J(θ)=12(y−hθ(x))2J(\theta) = \frac{1}{2}(y-h_\theta(x))^2 起初认为是绝对值不好计算因而换成平方项，但是这个1212\frac{1}{2}解释不通（虽然它并不影响），而且为什么不是其余偶数次项，于是很好奇这个是怎么来的。后面...

大熊的博客 3万+

相对相应损失

相对损失是指相对于某一基准值的损失。这个基准值可以是一个预期的值，也可以是实际的值。例如，如果你预测了一个股票的价格，并且这个股票的实际价格比你预测的价格低了 $10 元，那么你就会产生 $10 元的相对损失。在机器学习中，相对损失通常用于衡量模型预测的准确度。例如，均方差误差 (MSE) 就是一种常用的相对损失函数，它衡量的是模型预测的值与实际值之间的差异。总的来说，相对损失是一种常用的衡量...

weixin_35750483的博客 246

逻辑回归损失函数推导及其模型的推导

注：本篇文章求解思路、过程均为原创，本文出现的文字、公式等均为对照原计算手稿逐字手敲，绝无复制粘贴学术不端之举，转载请注明URL以及出处。 1.什么是逻辑回归？ Logistic−RegressionLogistic-RegressionLogistic−Regression是一种广义线性回归，与多重线性回归分析有很多相同之处。如它们的模型形式基本上相同，都具有 w∗x+bw*x+bw∗x+b。而多重线性回归直接将 w∗x+bw*x+bw∗x+b 作为因变量，因此他们的因变量不同。下文中所出现的 w∗x

m0_49863527的博客 2043

机器学习和深度学习中常见损失函数，包括损失函数的数学公式、推导及其在不同场景中的应用

损失函数在模型训练中的角色是衡量模型的预测结果与真实标签之间的差异。损失函数的输出通常是一个非负数，越接近0表示模型预测越准确。

weixin_41174300的博客 2152

损失函数的总结与推导

损失函数的总结与推导1. 概念区分2.回归常用损失函数2.1 均方差损失（MSE）2.2 平均绝对损失 (MAE)MAE与MSE的比较2.3 Huber Loss3.分类常用损失函数3.1 交叉熵损失3.1.1 二分类3.1.2 多分类分类为什么是交叉熵总结 1. 概念区分 Loss Function 损失函数 Loss Function 损失函数 Loss Function还分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，通常是针对单个训练样本而言，给定一个模型输出

weixin_41744192的博客 7980

机器学习总结（一）：常见的损失函数

这是博主的第一篇博客，mark一下，希望今后能够坚持下去。博主是机器学习菜鸟，将来希望从事机器学习的工作，最近在整理机器学习的知识点，将这些总结的文字以博客的形式展现出来，一是便于复习，二是分享出来希望能对别人会有一点点帮助。最近搜集了一些机器学习常见的面试问题，将问题和回答整理出来，做到有备无患。（随时进行补充）一、常见的损失函数通常机器学习每一个算法中都会有一个目标函数，算法的求解过程是通过对这

以梦为马，不负韶华 5万+

交叉熵损失函数

交叉熵损失是分类任务中的常用损失函数，但是是否注意到二分类与多分类情况下的交叉熵形式上的不同呢？两种形式这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。为什么同是交叉熵损失函数，长的却不一样？因为这两个交叉熵损失函数对应不同的最后一层的输出：第一个对应的最后一层是softmax，第二个对应的最后一层是sigmoid 先来看下信息论中交叉熵的形式 ...

diaoyan2763的博客 198

Logistic 回归损失函数推导及参数更新

Logistic 回归损失函数推导及参数更新 Logistic 回归属于广义的线性模型，联系函数为sigmoid函数广义的线性模型为y=g(wTx+b)y = g(\boldsymbol{w^Tx} + b)y=g(wTx+b),函数g(.)g(.)g(.)起到了将线性回归模型预测值和真实标记联系起来的作用，称为“联系函数”（link function）。使得g−1(y)g^{-1}(y)g...

阿辉的博客 2717

神经网络损失函数全解析：交叉熵/Focal Loss/对比学习，不同任务下的“误差衡量”逻辑（附公式推导+代码实战）

作为AI技术专家兼学习规划博主，我每天都会收到读者的类似提问： “南木，为什么分类任务用交叉熵而不是MSE？算出来的损失值到底代表什么？” “类别不平衡时，模型全预测多数类也能拿高准确率，Focal Loss真的能解决吗？” “对比学习没有标签，它的损失函数是怎么‘衡量误差’的？完全看不懂公式啊！”损失函数是神经网络的“指挥棒”——它定义了“模型预测与真实目标的误差”，直接决定参数更新的方向和幅度。很多人在调参时花大量时间改模型结构，却忽略了“损失函数是否匹配任务场景”：比如用MSE做分类任务导致梯度消失，

2501_91798322的博客 1703

均方差损失推导

课程：吴恩达机器学习

m0_65995252的博客 2513

MIMO技术入门

MIMO：多天线技术，发射端和接收端有多个天线（注意：并不是指多个天线板，而是多套振子，每一套是一个独立的天线。） 4G：2、8天线 5G：4、64天线（64T64R）手机也是多天线 MIMO实现效果的分类： 1）空间分集。2）空间复用。3）波束赋形。空间分集（space diversity）作用：提升接收质量利用多个天线发射或者接收一个数据流，避免单个信道衰落对整个链路的影响。（比如你的耳机坏了一只并不影响另一只）空间复用（space multiplexing）作用：提升速率利

About1129的博客 2873

pytorch loss及其梯度

python loss及其梯度

wyw0000的博客 735

ROST_CM6软件之词频分析、社会网络和语义网络分析、情感分析

简介 ROST CM 6是武汉大学沈阳教授研发编码的国内目前唯一的以辅助人文社会科学研究的大型免费社会计算平台。该软件可以实现微博分析、聊天分析、全网分析、网站分析、浏览分析、分词、词频统计、英文词频统计、流量分析、聚类分析等一系列文本分析。社会网络和语义网络分析（S）数据注意，保存时编码要为ANSI 所以这里需要转换一下准备自定义表与停词表例如同时，点击快速分析后，将会弹出网络图对网络图进行设置对布局进行设置对节点、边进行设置最终效果图修改情感分析

积一时之步，臻千里之遥程 9万+

传统推荐算法(五) FFM模型(1) 逻辑回归损失函数

文章目录1. 逻辑回归2. y(1,0) 逻辑回归损失3. y(-1,-1) 逻辑回归损失公众号 1. 逻辑回归逻辑回归使用回归手段来做分类问题(主要是二分类).它使用sigmoid函数减小预测范围,将线性回归的结果限定在(0,1)之间,并将其作为条件概率进行建模.[1]中解释了为什么这么做是合理的.对于单个样本,逻辑回归的构造函数为: ] 也就是给出了线性参数和x的条件概率函数.也就是似然概率...

天行健，君子以自强不息 900

Xilinx系列学习（一） BRAM的使用，并用PL读取BRAM数据

Xilinx系列学习（一） BRAM的使用，并用PL读取BRAM数据一，Xilinx BRAM介绍二，BRAM对应的IP核调用和使用1，BRAM对应的IP核介绍2，BMG例化IP核的调用一，Xilinx BRAM介绍 BRAM 就是Block Memory，是Zynq的PL端的存储RAM单元。可以利用BRAM，在PS和PL之间进行数据的交换。Zynq中还有一类存储器，称为分布式随机访问存储器（D...

weixin_43941525的博客 3万+

Windows下用Python调用科大讯飞语音唤醒SDK的避坑指南（附完整代码）

本文详细介绍了在Windows平台使用Python调用科大讯飞语音唤醒SDK的全流程，包括环境配置、核心代码实现、典型问题解决方案及进阶开发技巧。通过完整的代码示例和避坑指南，帮助开发者快速集成语音唤醒功能，提升开发效率。

u0v1w2x3的博客 405

模型训练-损失函数的来源-最大似然与梯度下降

在线性拟合中模型被定义为y = wx ，（+b与否无所谓，就相当于向量w中有一个为1而已）我们使用了损失函数：但是为啥我们采用这种损失函数呢？我们要用到最大似然估计的思想。

hzq20081121107的专栏 3815

19、时间触发通信与时间触发以太网技术解析

本文深入解析了时间触发通信和时间触发以太网（TTEthernet）技术，涵盖了其在实时系统中的应用，特别是安全关键领域如航空航天。文章详细介绍了TTEthernet的通信服务、协议参数化、时钟同步机制、诊断服务、故障隔离方法以及验证工作，并通过示例配置展示了其灵活性和可扩展性。TTEthernet通过引入确定性时间触发通信范式，在同一物理网络上实现了时间触发、速率受限和尽力而为三种流量类别的集成，为分布式实时系统提供了高可靠性和实时性保障。

efc12345678的博客 115

【SAC 深度拆解系列 5】SAC 完整公式推导与梯度计算（硬核篇）

本文详细解析了SAC（Soft Actor-Critic）算法的公式推导过程，从目标函数出发，逐步推导Critic网络、Actor网络和温度参数α的损失函数及梯度计算。通过对应Pendulum代码实现，展示了公式到代码的转换关系：Critic网络采用MSE损失计算Q值，Actor网络通过重参数化技术优化策略，α参数则通过自动熵调节机制更新。文章强调理解公式对代码实现和调试的重要性，并分享了分模块推导、代码对照等学习技巧，同时指出常见实现错误如重参数化错误和梯度回传问题。最后预告将深入讲解完整代码实现与调参实

Karl的博客 1255

X86/64架构中的总线和 ARM架构中总线的理解

内部总线 /CPU总线/FSB前端总线：类似ARM架构中的AHB总线北桥? 直接和CPU连接，这条总线主要由CPU使用，用来与高速缓存、主存和北桥(或MCH)之间传送信息。外部总线：类似ARM架构中的APB总线(外围总线)南桥？例如PCI总线、USB总线等通过北桥与CPU连接(南桥？)，是CPU与内存RAM、ROM和输入/输出设备接口之间进行通讯的通路内存总线：内存与北桥间的总线称为内存总线 ...

a746742897的博客 1066

漏洞挖掘之工具配置

本文主要讲解burp工具的插件安装。

qq_64775230的博客 3273

【阿里大模型2面】大模型算法面经：损失函数没答上来，复盘！

这是阿里的一份大模型算法面经，可以看到，面试官避开了 rag，agent 这些热门考点，转而对大模型训练中的损失函数进行了深挖，很好的考察到了候选人的基本功。

m0_63171455的博客 879

【电容/电感】电路板会“滋滋”的响，我们称它为啸叫

一、啸叫的起源大部分硬件工程师应该都遇到过，PCBA上电后出现“滋滋滋”的叫声，其声响或大或小，或时有时无，或深沉或刺耳，或变化无常者皆有。该现象我们称为“啸叫”，一般分为电感啸叫和电容啸叫。

云轩阁 6万+

机器学习面试核心：损失函数与XGBoost详解

损失函数是机器学习模型优化的核心组件，它量化预测与真实值的差异，指导模型参数更新。从均方误差(MSE)到交叉熵损失，不同函数适用于回归、分类等场景，其选择需考虑问题类型、数据分布和优化效率。XGBoost作为集成学习的代表算法，通过正则化目标函数、二阶泰勒展开等创新，在竞赛和工业界广受青睐。理解这些基础概念和流行算法的原理，不仅能应对技术面试中的理论考察，更能指导实际工程中的模型选择与调优。本文深入解析损失函数与XGBoost这两个机器学习面试高频考点，帮助开发者系统掌握从理论到实践的必备知识。

weixin_33845881的博客 380

汉书HE8，好用的汇编代码编写工具

汉书HE8，好用的汇编代码编写工具早期编写汇编代码所用功能强大

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

线性回归损失函数：从最小二乘法到梯度下降的3种数学推导与代码实现

本文详细解析了线性回归损失函数的三种数学推导方法，包括最小二乘法、正规方程和梯度下降，并提供了相应的Python代码实现。通过对比不同方法的优缺点，帮助读者深入理解线性回归的核心原理及其在实际应用中的选择策略，特别适合机器学习初学者和从业者参考。

weixin_30634661的博客 325

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

svm 损失函数以及其梯度推导

一般而言，score_matrix=WX W是系数矩阵，X是data_matrix，这儿是学习cs231n的笔记，为了与其代码内w，x的含义保持一致，以下统一使用XW来计算score_matrix。背景是用svm实现图片分类，输入参数如下： N 代表样品个数，D 代表像素个数，C代表一共的种类数。 X=(N, D) 注：如果原输入为（500，32，32，3）[即有500个样品（...

normol的博客 6321

温度PID控制PLC程序

温度PID稳定控制程序，适用于欧姆龙PLC，对其他PLC也具有很大参考价值

上一篇：数据科学总览

损失函数的推导

大熊的博客

06-24

3万+