机器学习算法笔记——线性回归

📖概念

字面意思就是建立线性模型进行回归分析。

线性回归可以是一维的（如一元线性回归），也可以是多维的（如多元线性回归），涉及多个自变量。通过拟合一条直线（二维空间）或一个超平面（多维空间）来进行预测。

❓什么是线性模型

线性模型的核心思想是建立自变量（特征）与因变量（预测值）之间的线性关系，即当自变量发生变化时，因变量也会按照一个固定的比率发生变化，这个比率就是模型的权重，在回归方程中也叫回归系数。

假设数据有d维的特征，它们的线性组合符合公式：

，一个d元一次函数

简写一下，用向量形式表示：

，输出f(x)是输入特征的一个仿射变换①

这里的w^T表示权重向量（行向量），x表示特征列向量（列向量），截距b是偏置项；转置T的意义是把列向量w转为行向量（类似矩阵乘法），使w^Tx结果为标量，方便与b相加。

狭义的线性模型如上所述，指的是自变量上不可能有高次项，自变量与标签之间不能存在非线性关系的模型；广义的线性模型包括岭回归、lasso回归、Elastic Net、逻辑回归、线性判别分析等。

❓什么是回归分析

为一个或多个自变量与因变量之间的关系建模的方法，预测因变量的数值。

回归经常用来表示输出与输出之间的关系。

🎲参数估计

机器学习求解参数的过程被称为参数估计。

线性回归的核心是求解最佳拟合曲线，对应到模型本身就是求解最优的w和b，使得新样本预测的误差尽可能小。什么情况下模型的参数最优呢？肯定是模型质量最优的时候，因此引入模型常用的性能度量——损失函数。

损失函数能量化实际值与预测值的差距，损失越小，模型自然越优。

线性回归本质是一个最优化问题，存在解析解②。

❎最小二乘法

回归任务中最常用的损失函数是均方误差（mean squared error），基于均方误差最小化来求解的方法称为“最小二乘法”。几何意义是，找到一条直线，使所有样本到直线上的欧式距离之和最小。

对于一元线性回归：

损失函数的计算公式为   

这里E(w,b)是关于w和b的凸函数③，因此局部最优解就是全局最优解，可以在导数为0时找到。

分别对w和b求导，然后令结果为0，可以得到w和b的最优解。

对于多元线性回归：

先将偏置b合并到参数w中（合体为），合并方法是在包含所有参数的矩阵中增加一列。把损失

最小化的公式转换为   

对