多元线性回归及其优化算法

    线性回归是很多机器学习机器学习算法的基础，所谓基础决定上层建筑，学好线性回归及其各种优化技巧，能为以后学习聚类乃至神经网络奠定坚实基础。我将从线性回归解析解，梯度下降，随机梯度下降，归一化，正则化等角度较为系统的为大家阐述线性回归及其各种优化策略，并给出部分Python代码，在阅读过程中大以下两种思想会贯穿读者始终：

1.很多策略都是TeadeOff的，在工作中根据自身追求的目标去合理调节。

2.有时不一定要追求全局最优解，只要找到一组解，worked就可以了。

一.解析解

假设你已经熟悉最小二乘法（可以去读我的上一篇深入浅出最小二乘法），目标函数为：

另一种表达：

我们要找最优解，即为上面损失函数值最小的解，多元线性函数中偏导数为0的点为驻点，但驻点不一定唯一，下面我用Hessian矩阵的正定性来证明上式的驻点是全局最优解。

对J损失函数求二阶导得：

自身和自身相乘一定是非负的，所以He