线性回归---4.线性回归的损失和优化

1.什么是损失
真是值和预测值之间的误差
公式:最小二乘法

2.如何进行优化
第一种方法 正规方程

举例

详解:
1.特征值逆矩阵 乘 特征值原矩阵 乘 特征值逆矩阵 * 目标值矩阵 T 就是矩阵转置 -1就是逆矩阵

第二种方法 梯度下降

概念

梯度是微积分中一个很重要的概念

​ 在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率

​ 在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的反方向一直走，就能走到局部的最低点！

单变量梯度下降

多变量梯度下降

梯度下降的公式