本文介绍了线性回归的基础知识，包括线性模型的形式和目标，通过最小二乘法推导出最优解公式，并讨论了模型评估标准。还探讨了在矩阵较大时使用梯度下降法或牛顿法代替最小二乘法的原因。最后，给出了Python实现最小二乘法的简要说明。
线性回归之最小二乘法推导及python实现
前言
本文章为个人的学习笔记。学习书籍《机器学习》（周志华著，俗称西瓜书）。
线性模型基本形式
首先是最基本的线性模型：
f ( x ) = w 1 x 1 + w 2 x 2 + w 3 x 3 + . . . + w n x n + b f( \textbf{x} )=w_1x_1+w_2x_2+w_3x_3+...+w_nx_n+b f(x)=w1x1+w2x2+w3x3+...+wnxn+b
化简成向量形式
f ( x ) = xw + b f( \textbf{x})= \textbf{x}\textbf{w} +b f(x)=xw+b f ( x ) ≈ y f( \textbf{x})\approx y f(x)≈y
其中 x = ( x 1 , x 2 , x 3 , . . . , x n ) \textbf{x}=(x_1,x_2,x_3,...,x_n) x=(x1,x2,x
最低0.47元/天 解锁文章
扫一扫
2632
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
