机器学习的损失函数

最新推荐文章于 2025-03-21 09:36:37 发布
最新推荐文章于 2025-03-21 09:36:37 发布
阅读量771 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/casmaster/article/details/75041707
版权

李航的统计机器学习方法说:
统计学习方法三要素:模型,策略,算法
模型是假设,策略就是验证这个假设好坏的方法,算法是知道了假设好坏程度,怎么让假设向好的方向演进.所以需要定量地知道模型的好坏程度.

模型好坏的理解

如何定义模型的好坏呢.比如拿来一堆真实数据 (Xi,yi) ,然后一个模型根据 Xi 预测 yi^ ,显然这个 yi^ 不一定和真实的 yi 相符.现在有一个问题,假设空间中,最好的那个模型,他能好到什么程度,这显然和训练数据有关,和模型自身也有关系,比如有些数据就是自相矛盾的,那模型再怎么牛逼,也无可奈何.其次,即使数据是可学习的,并且有个模型非常牛逼,对于这些真实数据,预测值和真实值都相符,它也不能保证对于未见到的值,它也能预测准确.说不定它只是死记硬背的呢.万里长征总有第一步,先研究一下如何定义模型的好坏.

损失函数(loss function)和风险函数

损失函数

损失函数度量的是一次预测的好坏.它并没有说是在训练集/测试集/验证集.

  1. 0-1 损失函数
  2. 平方损失函数
  3. 绝对损失函数
  4. 对数损失函数 这个比较有意思有篇介绍. 如果模型认为一个事件太会发生(p很小),但是它发生了,就要给他很大的惩罚.
  5. 合页损失函数

代理损失函数

对于一些问题

风险函数(risk function)

从”风险”两个字,就可以看出风险函数是一种期望,是对一个事物的提前估量.

Rexp=Ep[L(y,f(X))]

经验风险(empirical risk)

经验风险是训练数据集中的损失的平均.
根据大数定理,自然的想法,是希望经验风险越小越好.但是如果训练集数据少,有可能过拟合.所以需要区分下面两个概念

经验风险最小

结构经验风险最小

李航书中说,极大似然估计是一种经验风险最小的例子.不是很理解.
结构经验风险=经验风险+结构带来的风险

casmaster
关注
代理损失函数(surrogate loss function)
V83109的博客
08-16 4541
Surrogate loss function，中文可以译为代理损失函数。当原本的loss function不便计算的时候，我们就会考虑使用surrogate loss function。 在二元分类问题中，假如我们有\(n\)个训练样本\(\{(X_1,y_1),(X_2,y_2),\cdots,(X_n,y_n)\}\)，其中\(y_i\in\{0,1\}\)。为了量化一个模型的好坏...
AI基础：机器学习的损失函数
10-11
【AI基础：机器学习的损失函数】 在人工智能和机器学习领域，损失函数是评估模型预测结果与实际数据间差异的关键工具。损失函数（Loss Function）衡量的是模型预测值f(x)与真实值y的不一致程度，是优化过程中的核心...
机器学习常见的损失函数
cyong888的专栏
07-12 240
1.均方差MSE 主要用于回归问题。 2.交叉熵损失函数 L = -(y*log(y) + (1-y)* log(1-y)) 主要用于：分类问题。它是分类问题中使用比较广的一种损失函数，因为 交叉熵刻画了2个概率分布之间的距离。 主要用于神经网络，在计算梯度的时候，如果用平方差后面会非常缓慢的去收敛 ...
合页损失（Hinge Loss）函数
最新发布
cnb_120509的博客
03-21 203
合页损失（Hinge Loss）是机器学习中常用于分类任务（尤其是支持向量机，SVM）的一种损失函数。它的核心目标是最大化分类边界的“间隔”（Margin），从而增强模型的泛化能力。
合页损失函数的理解
热门推荐
L.Z.的博客
03-19 2万+
    在学习支持向量机的过程中，我们知道其损失函数为合页损失函数。至于为什么叫这个名字，李航老师的《统计学习方法》上是这么说的：由于函数形状像一个合页，故命合页损失函数。下图为合页损失函数的图像（取自《统计学习方法》）：     之前对损失函数的意义一直不是很懂。今天，在看了吴恩达老师的《机器学习》相关视频后，又读了《统计学习方法》的相关内容。对合页损失函数有了自己的理解： 横轴表示函数...
LR的原理，损失函数，求解方法
zhangkkit的博客
05-16 670
LR的原理，损失函数，求解方法_背诵版LR的原理损失函数求解方法 LR的原理 损失函数 求解方法
如何求解逻辑函数的损失函数，及代码实现？
好好学习的星熊的博客
11-09 1152
前言：本文使用的损失函数为KL离散构建的损失函数，无公式推导部分；代码部分为自定义函数，非sklearn。 逻辑回归KL离散构建的损失函数为： 其中m表示样本数量；p_1表示标签为1的概率；y^{(i)}表示第i条样本的真实值；x^{(i)}表示第i条样本数据（包含多个特征，即一行数据；最后一个值为1）。 损失函数求导（梯度表达式）为： 公式推导思路： BCE可以拆解为对和分别对w、b求导； 将上述结果带入、 逻辑回归自定义函数： def logit_gd(X,w,y)...
【机器学习损失函数全攻略】：深度解析损失函数选择与优化技巧（附案例分析）
[【机器学习损失函数全攻略】：深度解析损失函数选择与优化技巧（附案例分析）](https://img-blog.csdnimg.cn/direct/a83762ba6eb248f69091b5154ddf78ca.png) # 1. 损失函数在机器学习中的重要性 在机器学习领域，...
机器学习中的数学（2）：信息熵与损失函数1
08-03
机器学习中的数学（2）：信息熵与损失函数 在机器学习和深度学习中，我们常见到许多度量模型效果的损失函数，在回归任务中常见的是均方误差函数，在分类任务中，交叉熵则使用很频繁，为什么呢？本文将带您领略香农...
机器学习中常用的损失函数一览（必会技能）.md
03-11
在机器学习领域，损失函数是核心概念之一，它衡量了模型预测值与实际值之间的差异。理解并合理选择损失函数对于优化模型性能至关重要。损失函数主要有三种称呼：损失函数、代价函数和目标函数。在本文中，我们将统一...
MATLAB画caffe训练过程的损失函数
04-25
可以实现windows下画caffe训练过程的损失函数，精度等的变化情况，
合页损失函数
ltochange的博客
07-12 1196
这里介绍得是统计学习方法中提到的二分类合页损失函数hinge loss 对于包含NNN个样本的数据D(x,y)D(x,y)D(x,y)。xxx代表样本输入，yyy代表真实的标签，yyy中元素的值属于{1,−1}\{1,-1\}{1,−1}，分别表示正类与负类。 第nnn个样本对应的losslossloss，如下： ln=max(0,1−y(wxn+b))l_{n}=max(0,1-y(wx_{n}+b))ln​=max(0,1−y(wxn​+b)) 当1−y(wxn+b)<01-y(wx_{n}+b
【ML】SVM(4) 合页损失函数
0x00
09-07 831
合页损失函数
合页损失函数 HingeLoss
赵亮的优快云博客
05-23 4551
理解Hinge Loss (折页损失函数、铰链损失函数) Hinge Loss 是机器学习领域中的一种损失函数，可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的目标函数。 在二分类情况下，公式如下： L (y) = max(0 , 1 – t⋅y) 其中，y是预测值(-1到1之间)，t为目标值(1或 -1)。其含义为，y的值在 -1到1之间即可，并不鼓励 |y|>1，即让某个样本能够正确分类就可以了，不鼓励分类器过度自信，当样本与分割线的距离超过1时并不会有任何奖励。目的在
机器学习 [合页损失函数 Hinge Loss]
gukedream的专栏
01-20 2634
函数特性 在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为： 其中 表示预测输出，通常都是软结果（就是说输出不是0，1这种，可能是0.87。）， 表示正确的类别。 如果 ，则损失为： 如果 ，则损失为：0 其函数图像如下，与0-1损失对比：   优化 以支持向量机为例，其模型为： ...
【损失函数】Hinge Loss 合页损失
Next_SummerAgain的博客
01-04 6391
Hinge Loss（合页损失）通常用于支持向量机（Support Vector Machine，SVM）等模型中，特别是在二分类问题中。它的目标是使正确类别的分数与错误类别的最高分之间的差异达到一个固定的边界，从而促使模型学会产生更大的间隔。
机器学习损失函数
03-08
### 关于机器学习中的损失函数 #### 损失函数的定义 损失函数（Loss Function）或代价函数（Cost Function）是一种将随机事件或与该事件有关的随机变量取值映射为某个非负实数来表示该随机事件存在的“风险”或“损失”的函数[^1]。此概念广泛应用于优化问题，在机器学习领域尤其重要。 #### 主要类型及其应用场景 ##### 回归问题上的损失函数 对于回归问题，通常使用的损失函数有均方误差(Mean Squared Error, MSE)，其计算目标是使预测值与真实值之间的平方差最小化。这种类型的损失函数适合处理连续数值输出的任务，比如房价预测等。 ```python import numpy as np def mean_squared_error(y_true, y_pred): return np.mean((y_true - y_pred)**2) ``` ##### 分类问题上的损失函数 ###### 对数损失/二分类交叉熵损失 对数损失(Log Loss)，即二分类交叉熵损失(Cross Entropy Loss)，适用于二分类问题。通过衡量模型给出的概率分布和实际标签间的距离来进行性能评价。当模型倾向于给出更接近真实的概率估计时，相应的对数损失会更低[^2]。 ```python from sklearn.metrics import log_loss # 假设这是两个样本的真实标签(0 或 1) 和对应的预测概率([p_0, p_1]) true_labels = [0, 1] predicted_probabilities = [[0.9, 0.1], [0.4, 0.6]] logloss_value = log_loss(true_labels, predicted_probabilities) print(f'Log loss value is {logloss_value}') ``` ###### 铰链损失(Hinge Loss) 铰链损失主要用于支持向量机(Support Vector Machine, SVM)中作为分类器训练的目标函数。相比于其他形式的损失函数，它可以更好地捕捉边界情况下的错误惩罚力度，并有助于构建最大间隔超平面[^3]。 ```python from sklearn.svm import SVC from sklearn.metrics import hinge_loss svm_model = SVC(kernel='linear', C=1, random_state=42) # 训练数据X_train以及对应的真实标签y_train... hingeloss_value = hinge_loss(y_train, svm_model.decision_function(X_train)) print(f'Hinge loss value is {hingeloss_value}') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值