方差、偏差(variance、bias)

本文介绍了方差和偏差的概念,方差衡量数据的聚集程度,是无监督的;偏差则是指预测与目标之间的差距,是有监督的。通过黑鹰直升机射击的例子生动展示了方差小(子弹集中)与偏差大(远离目标)的关系。数学表达式进一步阐述了方差和偏差的计算方法,并讨论了在训练过程中的偏差-方差权衡问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

概念

方差的概念,是无监督的,描述的是一堆数据的聚集的程度。聚集的厉害方差就很小。

偏差的概念,是有监督,偏差是指和目标的距离。 偏差大,就是离目标大。

举例

想象你开着一架黑鹰直升机,得到命令攻击地面上一只敌军部队,于是你连打数十梭子,结果有一下几种情况:
1.子弹基本上都打在队伍经过的一棵树上了,连在那棵树旁边等兔子的人都毫发无损,这就是方差小(子弹打得很集中),偏差大(跟目的相距甚远)。
2.子弹打在了树上,石头上,树旁边等兔子的人身上,花花草草也都中弹,但是敌军安然无恙,这就是方差大(子弹到处都是),偏差大(同1)。
3.子弹打死了一部分敌军,但是也打偏了些打到花花草草了,这就是方差大(子弹不集中),偏差小(已经在目标周围了)。
4.子弹一颗没浪费,每一颗都打死一个敌军,跟抗战剧里的八路军一样,这就是方差小(子弹全部都集中在一个位置),偏差小(子弹集中的位置正是它应该射向的位置)。方差,是形容数据分散程度的,算是“无监督的”,客观的指标,偏差,形容数据跟我们期望的中心差得有多远,算是“有监督的”,有人的知识参与的指标。

图示

在这里插入图片描述
这幅图简直完美解释了各种情况,需要仔细理解。

目标是中心点,代表目标,看第一行,就是目标准。
第二行则离目标很远,就是偏差大。

第一列聚集,方差小;
第二列散乱,方差大。variance大。

数学表达

Bias(X)=E[f^(X)]−f(X)\text{Bias}(X) = E[\hat f(X)] - f(X)Bias(X)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值