机器学习要点理解（一、线性回归）

1. 线性回归的定义：线性而不是非线性，线性在表示元素关系在图像上表示为一条直线，非线性则不是直线；回归，多次的测量值通过方式计算，实现对真实值的逼近。
2. 线性回归的方法：
   1. 通过任务构造相应的损失函数；
   2. 利用梯度下降法最小化损失函数，找到相模型相应的参数。
3. 正则化项：解决模型的过拟合和欠拟合，一般有L1，L2正则化，L1，L2正则化项是施加在参数上，对模型的参数更新进行限制，L1正则化是对参数的绝对值进行限制，由此可能在最小化损失函数的额过程中，自身参数更新迭代后变为0的情况增多，导致L1输出稀疏的特性。L2正则化则是对参数平方再开根号，对比L1正则化，L2正则化计算更简单。L1正则化有一个优点，鲁棒性更强，对异常值不敏感，在面对高维数据，而且是一堆数据里面找出主要特征，L1为首选。ElasticNet回归：结合了L1和L2，损失函数上表现为先L2，再L1。
4. 在用线性回归模型拟合数据之前，首先要求数据应符合或近似符合正态分布，否则得到的拟合函数不正确。
5. 待补充。。。