机器学习：偏差、方差，生成模型，判别模型，先验概率，后验概率

一、偏差、方差

偏差与方差分别是用于衡量一个模型泛化误差的两个方面；

模型的偏差，指的是模型预测的期望值与真实值之间的差；

模型的方差，指的是模型预测的期望值与预测值之间的差平方和；

在监督学习中，模型的泛化误差可分解为偏差、方差与噪声之和。

偏差用于描述模型的拟合能力；
方差用于描述模型的稳定性。

导致偏差和方差的原因

偏差通常是由于我们对学习算法做了错误的假设，或者模型的复杂度不够；

比如真实模型是一个二次函数，而我们假设模型为一次函数，这就会导致偏差的增大（欠拟合）；

由偏差引起的误差通常在训练误差上就能体现，或者说训练误差主要是由偏差造成的

方差通常是由于模型的复杂度相对于训练集过高导致的；

比如真实模型是一个简单的二次函数，而我们假设模型是一个高次函数，这就会导致方差的增大（过拟合）；

由方差引起的误差通常体现在测试误差相对训练误差的增量上。

深度学习中的偏差与方差

神经网络的拟合能力非常强，因此它的训练误差（偏差）通常较小；

但是过强的拟合能力会导致较大的方差，使模型的测试误差（泛化误差）增大；

因此深度学习的核心工作之一就是研究如何降低模型的泛化误差，这类方法统称为正则化方法。