机器学习方法总结（二）：线性回归模型

线性回归模型

1.线性回归

• 优点：建模速度快、计算量小、系数容易理解和解释。
• 缺点：模型容易欠拟合、对异常值敏感。

1. 原理：对给定数据集,其中,,d为特征维度，m为样本数量，即找到一个线性模型拟合之间的关系，以最简单的例子：用拟合yi，找到一个合适的w和b。
2. 求解策略：最小二乘法即基于均方误差最小化的思想进行求解，使得找到一条直线，样本中所有的点到直线的欧氏距离之和最小。
3. 求解方法：梯度下降和牛顿法等最优化算法。

2.延伸：对数几率回归

1. 变回归任务为分类任务，需要找到一个单调可微的函数将分类任务的真实标记y和线性回归的预测值联系起来。如：在每个特征乘上一个回归系数再求和得到,然后将回归方程带入sigmoid函数中得到：