机器学习算法——线性回归（超级详细总结）

1.线性回归模型

1.1公式

y^ 是预测值
n 是特征数量
xi 是第i个特征
θi 是每个特征的模型参数

1.2向量化公式

θ.T是θ的转置向量。
θ.T · x 是θ.T和x的点乘
hθ(X) 是θ的假设函数

1.3 MSE损失函数

线性回归的损失函数通常使用MSE（均方误差）， 其原理对于欧几里得距离，当数据含有异常值的的时候，可以使用MAE（均值误差），对应曼哈顿距离，由于采用绝对值得形式，减少了异常值对数据的影响。

2.优化算法

2.1 标准方程

可以利用标准方程求出 θ^的优化最小值，是模型求解最优参数的一种形式。

手写实现

import numpy as np

X = np.random.rand(100,1) # 随机生成 

y = 1+2*X + np.random.randn(