动手学深度学习-入门之Day1-最小二乘法

介绍最小二乘法

• 最小二乘法是一种常用的参数估计方法，用于拟合线性模型和解决回归问题。
• 最小二乘法的目标是最小化观测值与模型预测值之间的残差的平方和，即最小化残差平方和来找到最佳拟合线。
• 

原理

• 最小二乘法通过最小化残差平方和来找到最佳拟合直线，使得模型预测值与观测值的差异最小。
• 数学上，最小二乘法通过最小化残差平方和来求解模型参数，通常使用代数方法或者矩阵运算来实现。

应用最小二乘法解决线性回归问题

• 在线性回归问题中，最小二乘法被广泛应用来拟合数据并预测目标变量。
• 通过最小二乘法，我们可以得到回归系数和截距，从而建立线性回归模型。

优缺点

• 优点：简单易懂，计算简便，对线性关系的数据拟合效果好。
• 缺点：对异常值敏感，对非线性关系的数据拟合效果不佳。

数学公式

最小二乘法的目标函数

最小二乘法的目标是最小化残差平方和，通常表示为：

​

其中：

• X 是特征矩阵
• w 是模型参数
• 𝑦 是目标变量