cost function( 成本函数 ) 在 regression( 回归 ) ( 一 )

原创于 2013-08-30 01:33:02 发布 · 5.2k 阅读

·

0

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

文章标签：

#cost function #Linear regression #代价函数 #线性回归

ml 专栏收录该内容

6 篇文章

订阅专栏

本文探讨了线性回归中参数求解的两种方法：通过梯度下降迭代逼近最优解和利用矩阵运算直接求解。介绍了如何定义代价函数并利用其进行参数优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

借助 cost function 求出参数 $\theta$ 使更合理的满足 traning set 中的所有 training examples.

在 Linear Regression ( 线性回归 ) 中 hypothesis ( 假设函数 ) 如下

$h_\theta (x)=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n$

设 $x_0=1$ 则 $h_\theta (x)=\theta^TX$ .

cost function 表示 input values or feature 通过 hypothesis 得出 $\theta^TX$ 与实际 $Y$ 之间关系.

抛开 cost function, 想一想怎么求 $\theta^TX$ 等于或无穷接近 $Y$ 的 $\theta$ .

方法1: 对 $\theta$ 无穷枚举, 使 $\theta^TX$ 接近 $Y$ .( 遥遥无期 )

方法2: 给 $\theta$ 一个初始值, 不断更新 $\theta$ 值直到 $\theta^TX$ 接近 $Y$ . ( 有限的枚举, 迭代, 一步步接近 )

方法3: 以数学的方式计算 $\theta$ 值.( 看起来很高级, 省去了方法2的多次迭代,一般情况都适用 )

接下来依次讨论方法2与方法3 cost function 的使用及算法思想.

方法2:

讨论具体方法之前先考虑一个问题.

某工厂生产汽车零件, 零件规格 100mm 为合格品, 现有每批5个, 共A,B两批生产出的零件.

A: 100mm, 101mm, 100mm, 99mm, 100mm

B: 102mm, 100mm, 90mm, 110mm, 98mm

问: 哪一批零件更好一些.

数学中, 期望相同时, 可用方差判断波动..

我们以 $h_\theta(x)$ 与 $Y$ 的差的平方和作为 cost function, 为了使计算方便乘一个 $^\frac{1}{2}$ .

$J(\theta)=\frac{1}{2}\sum _{i=1}^n(h_\theta(x^{(i)})-y^{(i)})^2$

寻找一个 $\theta$ 使 $J(\theta)$ 取最小值, 使 $h_\theta X \rightarrow Y$ .

计算 $J(\theta)$ 对 $\theta$ 偏导求"斜率", 如同站在山邱下山最快的方法是沿着最陡峭的方向.

$\frac{\partial }{\partial \theta_j}J(\theta) \\ = 2 \cdot \frac{1}{2} \cdot (h_\theta(x)-y) \cdot \frac{\partial }{\partial \theta_j}(h_\theta(x)-y) \\ = (h_\theta(x)-y) \cdot \frac{\partial }{\partial \theta_j}(\sum _{i=0}^n\theta_ix_i-y) \\ = (h_\theta(x)-y)\cdot x_j$

于是得出迭代公式 $\theta_j := \theta_j + \alpha (y^{(i)} - h_\theta(x^{(i)})) x_j^{(i)}$ .

此公式中 $\alpha$ 为步长, 下山时一步迈多长; $(y^{(i)} - h_\theta(x^{(i)})) x_j^{(i)}$ 为负 $J(\theta)$ 对 $\theta$ 偏导, 下山时最陡峭的反方向.

不断迭代求出收敛的 $\theta$ , 得出 hypothesis function

$h_\theta (x)=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n$ .

方法3:

讨论具体方法之前先考虑一个问题.

求 $y = x^2 + 1$ 的最小值, 求导, 导数等于零的点为极值点.

这个思想对于寻找一个 $\theta$ 使 $J(\theta)$ 取最小值同样适用.

tip: $z^Tz=\sum _iz_i^2$ , $h_\theta(x)=X\theta$ ( 行列互换, 值没有变, 为了便于计算 )

$J(\theta)=\frac{1}{2}\sum _{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2=\frac{1}{2}(X\theta-\vec{y})^T(X\theta-\vec{y})$

${J}'(\theta)=\triangledown _\theta J(\theta) = X^TX\theta-X^T\vec{y}=0$

$\theta=(X^TX)^{-1}X^T\vec{y}$

即可直接算出参数 $\theta$ , 得出 hypothesis function

$h_\theta (x)=\theta_0+\theta_1x_1+\theta_2x_2+\cdots+\theta_nx_n$ .

证明另外会写. 关于为何这么取 cost function 以后会另解释.

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。