多元线性回归的推导

多元线性回归于偏回归其实是同一个东西

1.公式推导：

在多元线性回归中，x可描述成如下所示，它表示一条样本数据有d个属性

需要做的就是寻找d维列向量w（权重）和常数b，解出方程：

 

需要想办法将b结合进x中，达到简化计算的目的

令

X乘以w^就等于：

同一元线性回归一样，接下来我们需要求解下述函数的最小值

由于y-Xw^是一个列向量，平方就是两个列向量的乘积。为了方便计算，我们使用列向量转置(行向量)乘以列向量的形式，其计算结果同两个列向量乘积一样：

现在我们要做的就是最小化目标函数，因此需要对其求导

根据向量求导公式

我们可得出：

上式中第一项中 yT 与 w^ 无关，所以结果为0。接下来计算第二项，根据行向量对列向量的求导公式，我们可以推出

因此上式结果第一项和第二项分别为

最终可得

令此式为0，当X的转置乘以X为满秩矩阵时可逆，因此可求解出w

其中行向量对列向量的求导：

参考博客：【机器学习总结】向量、矩阵求导公式_向量求导公式大全-优快云博客