线性回归算法梳理

有监督

• 事先有目标值的预测算法

无监督

• 事先无目标值的预测算法

泛化能力

• 把该问题拓展发散的性能
• 学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力
• 学得模型适用于新样本的能力，称为"泛化" 能力。具有强泛化能力的模型能 很好地适用于整个样本空间

过拟合欠拟合

• 过：在训练集中过度学习，造成在训练集中的效果较好，但是在在测试集中准确率交叉
• 欠：在 训练集中学习的特征过少，模型没有很好地捕捉到数据特征，或者本身数据很少，拟合效果不好
• 欠拟合解决方法：

  1）添加其他特征项，有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。除上面的特征之外，“上下文特征”、“平台特征”等等，都可以作为特征添加的首选项。

  2）添加多项式特征，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。例如上面的图片的例子。

  3）减少正则化参数，正则化的目的是用来防止过拟合的，但是现在模型出现了欠拟合，则需要减少正则化参数。

方差和偏差和各自解决办法

• 方差是指数据集的离散程度
• 偏差是指

交叉验证

• 当数据集比较小的时候，使用训练集不能够很好的学习到较多的特征，此时可以多次利用训练集，每次在训练集中随机按比例挑选出训练集和测试机，也就是增加训练集的利用次数，增加学习拟合效果

线性回归原理

• 线性回归就是假设目标值和各属性之间存在某种线性方程关系，可以创建一个线性方程，把问题转化为求解各属性的参数来对目标值进行不断逼近

线性回归损失函数

• 因为线性回归的原理所在，所以衡量其好坏就是其结果y和真实值的差距大小，此处使用均方误差进行衡量，物理上也就是其真实值和预测值之间的欧氏距离

线性回归代价函数

• 任何能够衡量模型预测出来的值与真实值之间的差异的函数都可以叫做代价函数

线性回归目标函数

• 目标函数及时其原理函数，最终通过求解最小损失函数的参数，带入之后就求得了目标函数，此时就可以使用其对目标值进行预测

优化方法

优化方法，还是回到了原理和损失函数上，优化也就是想办法缩小其损失函数，此时也就是想办法怎么求解损失函数的问题，简单的损失函数（属性比较少）可以通过正规方程的数学求解得到解，但是属性比较多的时候，这样求解非常复杂，此时可以把损失函数方程想象成一个凸面，这样的话求解的话就是凸优化，此时使用梯度下降方法求解，为了避免局部最优解又引入了随机梯度下降

牛顿法：牛顿法是利用迭代点处的一阶导数（梯度）和二阶导数(Hessen矩阵）对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直到求出满足精度的近似极小值；

拟牛顿法：以较低的计算代价寻求海森矩阵的近似逆矩阵，可以显著降低计算的时间

评估标准

• 评估标准就是其损失大小，就是均方误差大小

其sklearn参数详解

• 从头开始，首先处理线性回归问题不需要对数据做标准化，直接建立回归方程即可，然后求解过程求的是它的损失函数，也就是使用梯度下降求解最优解问题，所以其参数其实就是梯度下降的参数，此时有步长、随机起点个数参数，其他好像没了