小虫的学习笔迹

原创 最小二乘法与梯度下降法的区别？

狭义的最小二乘法：指的是在线性回归下采用最小二乘准则（或者说叫做最小平方），进行线性拟合参数求解的、矩阵形式的公式方法。所以，这里的（最小二乘法）应叫做（最小二乘算法）或者（最小二乘方法，百度百科【最小二乘法】词条中对应的英文为（The least squaremethod）。　　这里，基于线性回归，有两个细节比较重要：　　第一，线性回归的模型假设。这是最小二乘方法的优越性前提，否则不