线性回归

最新推荐文章于 2024-10-30 22:37:50 发布

原创最新推荐文章于 2024-10-30 22:37:50 发布 · 279 阅读

0 ·

CC 4.0 BY-SA版权

文本分类专栏收录该内容

3 篇文章

订阅专栏

本文介绍了线性回归的基本概念，包括如何建立线性回归模型来预测数值型数据，并详细讲解了如何通过梯度下降法来最小化代价函数，从而获得最佳模型参数。

线性回归是一种有监督学习方法，本质上是学习 $x$ 到 $y$ 的一种映射关系。对于给定的 $x$ ，预测其输出 $\hat{y}=f(x)$ 。

一、对线性回归的认识

1、假设房子的价格只和房子的面子有关，那么：
$y=ax+b$
2、假设房子的价格和房子的面积、卧室的个数有关，那么：
$h_{\theta}(x)={\theta}_0+{{\theta}_1}{x_1}+{{\theta}_2}{x_2}$

令 $x_0=1$ ，可以得到：

$h_{\theta}(x)=\sum_{i=0}^{n}{\theta}_{i}x_{i}={\theta}^{T}x$

3、推广开来：

$f(x)=\theta_{0}+\theta_{1}x_{1}+\theta_{2}x_{2}+...+\theta_{n}x_{n}$

令 $x_{0}=1$ ，用向量形式表示为：

$f(x)={\theta}^{T}x$

二、线性回归求解

1、代价函数（损失函数）：

代价函数的作用：衡量效果最好的一组参数 $\begin{align*} [\theta_0, \theta_1,...,\theta_n] \end{align*}$ 。

公式为： $J(\theta_0,\theta_1,...,\theta_n)=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2$

2、最小化代价函数：

代价函数是一个凸函数。

采用梯度下降法求解代价函数最小值：

梯度下降法如同下山，朝着梯度的方向，每次迈一小步直到最低的位置。

对于：

$h_{\theta}(x)={\theta}_0+{\theta}_1{x}$

其代价函数为：

$J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2$

梯度下降公式为：

$\begin{align*} \theta_0&:=\theta_0-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})\\ \theta_1&:=\theta_1-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})\cdot x^{(i)}\\ \end{align*}$

推广到一般情况：

$\begin{align*} \theta_0&:=\theta_0-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})\cdot x_{0}^{(i)}\\ \theta_1&:=\theta_1-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})\cdot x_{1}^{(i)}\\ \theta_2&:=\theta_2-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})\cdot x_{2}^{(i)}\\ ...\\ \end{align*}$