线性回归原理推导及实现

        在 机器学习模型中，线性模型是一种形式简单但包含机器学习主要建模思想 的模型 ，线型模型包含线性回归、对数几率回归、LASSO回归、RIDGE回归、lLDA等模型。线性回归是一种由自变量到因变量的机器学习建模思想。

一、一元回归最小二乘法推导

        给定一组由输入X和输出 Y构成的数据集

        D={(x1,y1),(x2,y2)....(xm,ym)}

        其中 x={x1,x2,....}, y属于R,线性回归就是通过训练学习得到一个线性模型。模型为：

        y=wx+b

        线性回归学习的关键问题在确定参数w和b,使得拟合输出 的y 与真实输出 的y尽可能接近。在回归任务中，我们通常使用均方误差度量预测与标签之间的损失，回归任务的优化目标就是使拟合输出和真实输出的均方差最小化，所以有：

        为求w和b的最小化参数w*和b*, 可基于式2-1分别对w和b求一阶导数并令其为0，对w求导的推导过程如式2-2所示：

        同理，对参数b求导的推导过程 如式2-3所示：

        基于式2-2和式2-3，分别令其为0，可解得w和b 的最优解

        这是一种基于均方差最小化求解线性回归参数的方法就是著名的最小二乘法，其图示如下所示：

二、多元回归推导

        所谓多元回归，就是输入多个变量X，输出 变量Y，为了方便矩阵化的最小二乘法的推导 ，可将w和b合并向量表达式w=(w,b),训练集D的输入部分可