方差与偏差

公式定义:

对测试样本 xxyD 表示在 xx 数据集上的标记, yxx 的真实标记, f(x;D) 为训练集D上学得模型 ffx 上的预测输出。以回归为例:
算法的期望预测:

f(x)=ED[f(x;D)]f−(x)=ED[f(x;D)]

使用样本数相同的不同训练集产生的方差为:
var(x)=ED[(f(x;D)f(x))2]var(x)=ED[(f(x;D)−f−(x))2]

噪声为:
ϵ2=ED[(yDy)2]ϵ2=ED[(yD−y)2]

期望输出与真实标记的差别称为偏差(bias),即
bias2(x)=(f(x)y)2bias2(x)=(f−(x)−y)2

关系:泛化误差可分解为偏差、方差和噪声之和
E(f;D)=bias2(x)+var(x)+ϵ2E(f;D)=bias2(x)+var(x)+ϵ2
偏差、方差、噪声的含义:
  • 偏差:
    度量了学习算法的期望预测与真实结果的偏离程度,即刻画了算法本身的拟合能力。偏差越大越偏离真实值。
  • 方差:
    度量了同样大小训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响。反映了离散程度,预测值到期望值的距离;方差越大,数据分布越分散。也就可以理解为衡量模型的稳定性(鲁棒性)。
  • 噪声:
    表达了在当前任务上任何学习算法所能达到的期望泛华误差的下界,即刻画了学习问题本身的难度。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值