学习笔记——第一章:统计学习及监督学习概论 1. 最小二乘法 1.1 最小二乘法的原理与要解决的问题 1.2 最小二乘法的矩阵法解法 1.3 最小二乘法的几何解释 1.4 最小二乘法的局限性和适用场景 2. 最小二乘法Python实现 正则化 参考资料 1. 最小二乘法 1.1 最小二乘法的原理与要解决的问题 高斯于1823年在误差e1 ,… , en独立同分布的假定下,证明了最小二乘方法的一个最优性质: 在所有无偏的线性估计类中,最小二乘方法是其中方差最小的! 最小二乘法是由勒让德在19世纪发现的,形式如下式: 目标函数 = ∑ ( 观测值 − 理论值 ) 2 目标函数 = \sum (观测值-理论值)^2 目标函数=