线性回归-机器学习（machine learning）笔记（Andrew Ng）

最新推荐文章于 2022-06-22 21:47:05 发布

阶艺勿听

最新推荐文章于 2022-06-22 21:47:05 发布

阅读量266

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.youkuaiyun.com/sinat_25721683/article/details/79084090

机器学习专栏收录该内容

14 篇文章

订阅专栏

本文介绍了线性回归的基本概念及两种主要优化方法——梯度下降与标准方程。梯度下降通过迭代来最小化代价函数，而标准方程则直接求解参数的最优值。此外还讨论了学习率的选择、特征缩放等技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

线性回归linear regression
- 梯度下降gradient descent
- 标准方程normal equation

线性回归（linear regression）

梯度下降（gradient descent）

通过不断迭代使得cost function最小化，选择出我们需要的parameter $\theta$

hypothesis:

h θ (x) = θ 0 * x 0 + θ 1 * x 1 + \cdot \cdot \cdot + θ n * x n = θ T x, x 0 = 1

$h_\theta(x)=\theta_0*x_0+\theta_1*x_1+···+\theta_n*x_n=\mathbf{ \theta }^T x,x_0=1$

cost function:

J (θ) = J (θ 0, θ 1, . . ., θ n) = 1 2 m \sum i = 1 m (h θ (x (i)) - y (i))) 2

$J(\theta)=J(\theta_0, \theta_1, ..., \theta_n)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)}))^2$

update：

θ j : = θ j - α \partial \partial θ j J (θ)

$\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta)$

learning rate $\alpha$ 的选择： $\alpha$ 大，收敛快，但可能会发散； $\alpha$ 小，收敛慢。所以不同的 $\alpha$ 值，做实验，画出cost function与iteration的函数图，看哪个 $\alpha$ 既使cost function下降快，又不会发散或振荡
加快收敛：特征缩放（feature scaling）、均值归一化（mean normalization）

标准方程（normal equation）

一步得到parameter $\theta$ 的最优值，并且不需要归一化
求解方法 $\theta$ ：

θ = (X T X) - 1 X T y

$\theta = (X^TX)^{-1}X^Ty$

X = ⎛ ⎝ ⎜ x 0, 0 . . . x m, 0 x 0, 1 . . . x m, 1 . . . . . . . . . x 0, n . . . x m, n ⎞ ⎠ ⎟ y = [y 1, y 2, . . ., y m] T

$X=\begin{pmatrix} x_{0,0} & x_{0,1} & ... & x_{0,n} \\ ... & ... & ... & ... \\ x_{m, 0} & x_{m,1} &...&x_{m,n} \end{pmatrix}\\ y=[y_1, y_2,...,y_m]^T$

X $X$ 是

m∗(n+1) $m*(n+1)$ 维特征矩阵，第一列全为1；

n $n$ 是特征数，

m $m$ 是训练样本数量

todo：推导该式子

对比梯度下降和标准方程：

梯度下降	标准方程
需要选择 $\alpha$	不需要选择 $\alpha$
需要迭代	不需要迭代
在 $n$ 很大时表现很好	因为需要计算 $(X^TX)^{-1}$ ,在很大时非常慢