李宏毅机器学习笔记（二）：偏差与方差

一、误差来自于哪？

error一般有两种来源：bias（偏差） 和 variance（方差），如果可以诊断error的来源，就可以挑选适当的方法来改进我们的模型。

对于我们面对的问题，理论上有一个最佳的模型，这个理论上最佳的function一般写作 $\hat{f}$ , 即 $\hat{y}=\hat{f}(x)$，而我们能做的是通过一些training data去找一个能力范围内最好的function，记作$f^{\ast }$，$f^{\ast }$ 不一定等于 $\hat{f}$ ，它相当于是 $\hat{f}$