【数学基础】第二课:目标函数、损失函数、代价函数

1.目标函数、损失函数、代价函数

关于损失函数(loss function)、代价函数(cost function)的概念有两种看法:

  • 观点一:可认为是一样的。
  • 观点二:
    1. 损失函数 ∣ y i − f ( x i ) ∣ \mid y_i-f(x_i)\mid yif(xi),一般针对单个个体。
    2. 代价函数 1 N ∑ i = 1 N ∣ y i − f ( x i ) ∣ \frac{1}{N} \sum_{i=1}^N\mid y_i-f(x_i)\mid N1i=1Nyif(xi),一般针对总体。

目标函数 1 N ∑ i = 1 N ∣ y i − f ( x i ) ∣ + λ J ( f ) \frac{1}{N} \sum_{i=1}^N\mid y_i-f(x_i)\mid+\lambda J(f) N1i=1Nyif(xi)+λJ(f)。其中, J ( f ) J(f) J(f)为正则化项。

上述式子中, y i y_i yi是真实值, f ( x i ) f(x_i) f(xi)是预测值, N N N是样本数。

实际上,这些概念的定义并没有一个统一的说法,这里只是给出一种比较常见的定义。其实只要理解了背后的公式,可根据上下文语境自行判断,叫法并不重要。

2.经验风险和结构风险

先来看一个例子:

上图的三个函数分别为: f ( x 1 ) ; f ( x 2 ) ; f ( x 3 ) f(x_1);f(x_2);f(x_3) f(x1);f(x2);f(x3)

要评价上述三个模型的好坏,引入两个评价指标:

  1. 代价函数,即经验风险
  2. 正则化项,专门用于度量模型的复杂度,即结构风险

最理想的模型:经验风险和结构风险均最小化。

针对上述三个模型:

经验风险结构风险
f ( x 1 ) f(x_1) f(x1)最大最小
f ( x 2 ) f(x_2) f(x2)适中适中
f ( x 3 ) f(x_3) f(x3)最小最大

f ( x 3 ) f(x_3) f(x3)可能会过拟合, f ( x 1 ) f(x_1) f(x1)误差过大, f ( x 2 ) f(x_2) f(x2)是比较合适的选择。

3.参考资料

1.机器学习中的目标函数、损失函数、代价函数有什么区别?


想要获取最新文章推送或者私聊谈人生,请关注我的个人微信公众号:⬇️x-jeff的AI工坊⬇️

个人博客网站:https://shichaoxin.com

GitHub:https://github.com/x-jeff


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值