linear regression

最新推荐文章于 2024-09-12 17:00:39 发布

鱼蛋蛋哥

最新推荐文章于 2024-09-12 17:00:39 发布

阅读量553

点赞数

CC 4.0 BY-SA版权

分类专栏： machine learning

本文链接：https://blog.youkuaiyun.com/u010327085/article/details/46632441

machine learning 专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了线性回归模型及其使用梯度下降算法求解的过程。包括线性回归的基本概念、代价函数、梯度下降算法原理、矩阵形式表达、归一化处理、学习率选取以及在实际应用中的技巧。还对比了梯度下降算法与通解形式求解线性回归的优缺点，并提供了MATLAB实现示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

模型

线性回归，使用的是线性函数模型。

$h(\Theta )=\Theta _{0}+\Theta _{1}x$

代价函数:

$J(\Theta_{0},\Theta _{1})=\frac{1}{2m}\sum (\Theta_{0}x_{0}^{i}+\Theta _{1}x_{1}^{i}-y^{i})^{2}$

梯度下降算法

$\Theta _{j}=\Theta _{j}-\alpha \frac{\partial }{\partial \Theta _{j}}J(\Theta )$

梯度下降算法是为了求得θ使得代价函数J最小。

对于线性回归，只有一个局部最优解，也就是全局最优解。使用梯度下降算法，只需要求出一个局部最优解即可。

使用梯度下降算法，通过不断的迭代，获得不同的θ，使得代价函数J不断减小。

梯度下降算法求线性回归

令 $\alpha =1$ ，则

$\Theta _{0}:=\Theta _{0}-\frac{1}{m}\sum(\Theta _{0}+\Theta _{1}x^{(i)}-y^{(i)})$

$\Theta _{1}:=\Theta _{1}-\frac{1}{m}\sum(\Theta _{0}+\Theta _{1}x^{(i)}-y^{(i)})x^{(i)}$

使用矩阵形式的表达

这些表达需要一些基础的线性代数知识基础。当线性回归模型中x个数很多时，使用上述的表达将会很繁琐，并且在使用梯度计算时，也需要进行循环运算。但当使用矩阵的形式表达时，这一切都会简单很多，在通过matlab等包含矩阵运算发类库时，使用梯度下降进行求解，也将简单很多。

普通形式的模型表达： $H_{\Theta }(x)=\Theta _{0}+\Theta _{1}x_{1}+\Theta _{2}x_{2}+...+\Theta _{n}x_{n}$

矩阵形式的模型表达： $H_{\Theta }(x)=\theta ^{T}X$ ,其中 $\Theta=\begin{bmatrix}\Theta _{0}\\ \Theta _{1}\\ ...\\ \Theta _{n}\\ \end{bmatrix} \epsilon R^{n+1}$ , $X=\begin{bmatrix} x_{0}\\ x_{1}\\ ...\\ x_{n} \end{bmatrix}\epsilon R^{n+1}$ , $x_{0}=1$ .

梯度下降算法迭代过程： $\Theta _{i}=\Theta _{i}-\alpha \frac{1}{m}\sum_{j=1}^{m}(H_{\Theta }(x^{(j)})-y^{(j)})x_{i}^{(j)}$

矩阵形式的梯度下降表达： $\Theta =\Theta -\alpha \frac{1}{m}[(\Theta ^{T}X-Y^{T})X^{T}]^{T}$ ,另一种形式的表达，化简为 $\Theta =\Theta -\alpha \frac{1}{m}X(X^{T}\Theta -Y)$ .