机器学习P3-4总结

1. 回归

机器学习中的回归，是指确定多种变量相互依赖的定量关系的方法。通俗理解：越来越接近期望值的过程，回归于事物本来的面目（来自baidu）。

2.线性回归

线性回归最早是由英国生物学家兼统计学家高尔顿发现，在研究父母身高与子女身高关系时提出来的，经研究，他发现父母平均身高x与子女平均身高y之间存在 y = 0.516x + 3.78的关系。这个一次函数就是线性回归模型 ，一次项系数 0.516，一个是常数项 3.78。机器学习的过程，就是希望使用线性回归算法找到上述参数。

主要分3步：

step1：模型假设，选择模型框架（线性模型 y = w·x + b ）

step2：模型评估，如何判断众多模型的好坏（通过损失函数确定最合适的一组参数w、b）

step3：模型优化，如何筛选最优的模型（对损失函数采取梯度下降法）

损失函数：

单个特征：一元线性回归，L(w,b)=​(y−(b+w⋅x​))²

多个特征：多元线性回归，L(w,b)=∑​(y−(b+w⋅x​))²，总和越小越好

后续内容较难，理解后补充