机器学习的损失函数

最新推荐文章于 2025-03-21 09:36:37 发布
原创 最新推荐文章于 2025-03-21 09:36:37 发布 · 795 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

李航的统计机器学习方法说:
统计学习方法三要素:模型,策略,算法
模型是假设,策略就是验证这个假设好坏的方法,算法是知道了假设好坏程度,怎么让假设向好的方向演进.所以需要定量地知道模型的好坏程度.

模型好坏的理解

如何定义模型的好坏呢.比如拿来一堆真实数据 (Xi,yi) ,然后一个模型根据 Xi 预测 yi^ ,显然这个 yi^ 不一定和真实的 yi 相符.现在有一个问题,假设空间中,最好的那个模型,他能好到什么程度,这显然和训练数据有关,和模型自身也有关系,比如有些数据就是自相矛盾的,那模型再怎么牛逼,也无可奈何.其次,即使数据是可学习的,并且有个模型非常牛逼,对于这些真实数据,预测值和真实值都相符,它也不能保证对于未见到的值,它也能预测准确.说不定它只是死记硬背的呢.万里长征总有第一步,先研究一下如何定义模型的好坏.

损失函数(loss function)和风险函数

损失函数

损失函数度量的是一次预测的好坏.它并没有说是在训练集/测试集/验证集.

  1. 0-1 损失函数
  2. 平方损失函数
  3. 绝对损失函数
  4. 对数损失函数 这个比较有意思有篇介绍. 如果模型认为一个事件太会发生(p很小),但是它发生了,就要给他很大的惩罚.
  5. 合页损失函数

代理损失函数

对于一些问题

风险函数(risk function)

从”风险”两个字,就可以看出风险函数是一种期望,是对一个事物的提前估量.

Rexp=Ep[L(y,f(X))]

经验风险(empirical risk)

经验风险是训练数据集中的损失的平均.
根据大数定理,自然的想法,是希望经验风险越小越好.但是如果训练集数据少,有可能过拟合.所以需要区分下面两个概念

经验风险最小

结构经验风险最小

李航书中说,极大似然估计是一种经验风险最小的例子.不是很理解.
结构经验风险=经验风险+结构带来的风险

casmaster
关注
合页损失函数
ltochange的博客
07-12 1244
这里介绍得是统计学习方法中提到的二分类合页损失函数hinge loss 对于包含NNN个样本的数据D(x,y)D(x,y)D(x,y)。xxx代表样本输入，yyy代表真实的标签，yyy中元素的值属于{1,−1}\{1,-1\}{1,−1}，分别表示正类与负类。 第nnn个样本对应的losslossloss，如下： ln=max(0,1−y(wxn+b))l_{n}=max(0,1-y(wx_{n}+b))ln​=max(0,1−y(wxn​+b)) 当1−y(wxn+b)<01-y(wx_{n}+b
机器学习常见的损失函数
cyong888的专栏
07-12 258
1.均方差MSE 主要用于回归问题。 2.交叉熵损失函数 L = -(y*log(y) + (1-y)* log(1-y)) 主要用于：分类问题。它是分类问题中使用比较广的一种损失函数，因为 交叉熵刻画了2个概率分布之间的距离。 主要用于神经网络，在计算梯度的时候，如果用平方差后面会非常缓慢的去收敛 ...
合页损失函数的理解
热门推荐
L.Z.的博客
03-19 2万+
    在学习支持向量机的过程中，我们知道其损失函数为合页损失函数。至于为什么叫这个名字，李航老师的《统计学习方法》上是这么说的：由于函数形状像一个合页，故命合页损失函数。下图为合页损失函数的图像（取自《统计学习方法》）：     之前对损失函数的意义一直不是很懂。今天，在看了吴恩达老师的《机器学习》相关视频后，又读了《统计学习方法》的相关内容。对合页损失函数有了自己的理解： 横轴表示函数...
LR的原理，损失函数，求解方法
zhangkkit的博客
05-16 703
LR的原理，损失函数，求解方法_背诵版LR的原理损失函数求解方法 LR的原理 损失函数 求解方法
如何求解逻辑函数的损失函数，及代码实现？
好好学习的星熊的博客
11-09 1203
前言：本文使用的损失函数为KL离散构建的损失函数，无公式推导部分；代码部分为自定义函数，非sklearn。 逻辑回归KL离散构建的损失函数为： 其中m表示样本数量；p_1表示标签为1的概率；y^{(i)}表示第i条样本的真实值；x^{(i)}表示第i条样本数据（包含多个特征，即一行数据；最后一个值为1）。 损失函数求导（梯度表达式）为： 公式推导思路： BCE可以拆解为对和分别对w、b求导； 将上述结果带入、 逻辑回归自定义函数： def logit_gd(X,w,y)...
机器学习损失函数的分类
06-10
这里包含了所有常见的机器学习损失函数
机器学习损失函数详解：定义、种类及其在模型优化中的应用，附源码
最新发布
06-21
内容概要：损失函数用于衡量机器学习算法的运行情况，其核心在于通过量化预测值与真实值之间的误差来优化模型参数。文中详细介绍了几种常见的损失函数，包括均方误差（MSE）、均方根误差（RMSE）、平均绝对误差（MAE...
AI基础：机器学习的损失函数
10-11
【AI基础：机器学习的损失函数】 在人工智能和机器学习领域，损失函数是评估模型预测结果与实际数据间差异的关键工具。损失函数（Loss Function）衡量的是模型预测值f(x)与真实值y的不一致程度，是优化过程中的核心...
【机器学习损失函数全攻略】：深度解析损失函数选择与优化技巧（附案例分析）
[【机器学习损失函数全攻略】：深度解析损失函数选择与优化技巧（附案例分析）](https://img-blog.csdnimg.cn/direct/a83762ba6eb248f69091b5154ddf78ca.png) # 1. 损失函数在机器学习中的重要性 在机器学习领域，...
MATLAB画caffe训练过程的损失函数
04-25
可以实现windows下画caffe训练过程的损失函数，精度等的变化情况，
【ML】SVM(4) 合页损失函数
0x00
09-07 958
合页损失函数
合页损失（Hinge Loss）函数
cnb_120509的博客
03-21 461
合页损失（Hinge Loss）是机器学习中常用于分类任务（尤其是支持向量机，SVM）的一种损失函数。它的核心目标是最大化分类边界的“间隔”（Margin），从而增强模型的泛化能力。
合页损失函数 HingeLoss
赵亮的优快云博客
05-23 4623
理解Hinge Loss (折页损失函数、铰链损失函数) Hinge Loss 是机器学习领域中的一种损失函数，可用于“最大间隔(max-margin)”分类，其最著名的应用是作为SVM的目标函数。 在二分类情况下，公式如下： L (y) = max(0 , 1 – t⋅y) 其中，y是预测值(-1到1之间)，t为目标值(1或 -1)。其含义为，y的值在 -1到1之间即可，并不鼓励 |y|>1，即让某个样本能够正确分类就可以了，不鼓励分类器过度自信，当样本与分割线的距离超过1时并不会有任何奖励。目的在
机器学习 [合页损失函数 Hinge Loss]
gukedream的专栏
01-20 2724
函数特性 在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为： 其中 表示预测输出，通常都是软结果（就是说输出不是0，1这种，可能是0.87。）， 表示正确的类别。 如果 ，则损失为： 如果 ，则损失为：0 其函数图像如下，与0-1损失对比：   优化 以支持向量机为例，其模型为： ...
【漫话机器学习系列】076.合页损失函数（Hinge Loss）
IT古董
02-02 844
Hinge Loss（合页损失），也叫做合页损失函数，广泛用于支持向量机（SVM）等分类模型的训练过程中。它主要用于二分类问题，尤其是支持向量机中的优化目标函数。Hinge Loss 是一种专为二分类问题设计的损失函数，它强调边际最大化，使得支持向量机（SVM）等模型不仅仅关注分类正确性，还鼓励模型产生具有大间隔的决策边界。通过这种方式，Hinge Loss 能够提高模型的泛化能力，减少过拟合的风险。
【损失函数】Hinge Loss 合页损失
Next_SummerAgain的博客
01-04 7430
Hinge Loss（合页损失）通常用于支持向量机（Support Vector Machine，SVM）等模型中，特别是在二分类问题中。它的目标是使正确类别的分数与错误类别的最高分之间的差异达到一个固定的边界，从而促使模型学会产生更大的间隔。
学习笔记：机器学习之支持向量机(五、线性支持向量机-合页损失函数)
qq_44635691的博客
08-19 402
svm 合页损失函数
头歌机器学习 损失函数
05-30
### 机器学习中损失函数的实现与应用 在机器学习领域，损失函数是模型优化的核心组成部分。通过定义适当的损失函数，可以衡量模型预测值与真实值之间的差异，并以此为目标进行参数优化。以下是关于头歌平台中机器学习损失函数的实现与应用相关内容。 #### 损失函数的基本概念 损失函数通常由经验风险函数和正则化项组成。经验风险函数表示的是模型预测值与真实值之间的差距，而正则化项用于防止过拟合[^1]。常见的正则化项包括L1正则化（Lasso回归）和L2正则化（Ridge回归）。整个目标函数的形式如下： ```python J(θ) = (1/n) * Σ L(y_i, f(x_i; θ)) + λ * R(θ) ``` 其中，`L` 是损失函数，`R(θ)` 是正则化项，`λ` 是正则化系数。 #### 常见的损失函数 1. **Log对数损失函数** Log对数损失函数（也称为逻辑回归损失函数）主要用于二分类任务。其形式为： ```python L(y, p) = -[y * log(p) + (1 - y) * log(1 - p)] ``` 其中，`y` 是真实标签，`p` 是模型预测的概率值。该损失函数在逻辑回归中广泛应用，并可通过梯度下降法进行优化。 2. **指数损失函数** 指数损失函数主要应用于AdaBoost算法中。其形式为： ```python L(y, f(x)) = exp(-y * f(x)) ``` 该损失函数对于异常点非常敏感，因此在噪声较多的数据集上表现不佳。Gradient Boosting对此进行了改进，允许使用任意连续可导的损失函数[^2]。 3. **均方误差损失函数** 均方误差损失函数（MSE）常用于回归任务。其形式为： ```python L(y, f(x)) = (y - f(x))^2 ``` #### 损失函数的实现 以逻辑回归为例，可以通过Python中的`sklearn`库实现损失函数的计算与优化。以下是一个简单的逻辑回归实现示例： ```python from sklearn.linear_model import LogisticRegression from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 生成数据集 X, y = make_classification(n_samples=1000, n_features=20, random_state=42) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 初始化逻辑回归模型 model = LogisticRegression() # 训练模型 model.fit(X_train, y_train) # 输出模型参数 print("Coefficients:", model.coef_) print("Intercept:", model.intercept_) ``` 上述代码展示了如何使用`sklearn`库实现逻辑回归模型，并自动优化损失函数[^3]。 #### 应用场景 损失函数的应用场景广泛，包括但不限于以下方面： - 分类任务：如逻辑回归、支持向量机等。 - 回归任务：如线性回归、岭回归等。 - 集成学习：如Gradient Boosting、XGBoost等。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值