机器学习基础 - [第一章：单变量线性回归]（3）代价函数

Albert_YuHan

于 2019-03-22 21:22:52 发布

阅读量189

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习算法

本文链接：https://blog.youkuaiyun.com/duan20140614/article/details/88751165

机器学习算法专栏收录该内容

45 篇文章

订阅专栏

文章围绕代价函数J(θ)展开，期望使其最小化。通过将训练集样本想象成xy平面上的点，用假设函数hθ(x)=θ0+θ1x拟合，令θ0=0，展示了θ1取不同值（如1、0.5）时，代价函数J(θ)的几何意义及数值变化，还提到将θ1取值绘成曲线。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上篇文章中我们提到了代价函数 $J(θ)J(\theta)$ ，并期望使它最小化，那代价函数长什么样子呢？
接下来，我们将给大家一个直观的感受，看看参数 $θ\theta$ 取不同值时， $J(θ)J(\theta)$ 的几何呈现

我们可以把训练集中的样本 $(x, y)$ 想象成分散在xy平面上的点，然后通过一条直线来拟合这些点，这条直线就是我们的假设函数 $hθ(x)=θ0+θ1xh_{\theta}(x)=\theta_{0}+\theta_{1}x$ ，这里我们令 $θ0=0\theta_{0}=0$ ，看 $J(θ)J(\theta)$ 随 $θ1\theta_{1}$ 的变化情况

（1）. 当 $θ1=1时\theta_{1}=1时$ ， $hθh_{\theta}$ 和 $J(θ)J(\theta)$ 的几何意义分别如下：
在这里插入图片描述
从上图右可以看出，当 $θ1=1时\theta_{1}=1时$ ，代价函数的值（绿叉表示的点） $J(θ)=0J(\theta)=0$

（2）. 当 $θ1=0.5时\theta_{1}=0.5时$ ， $hθh_{\theta}$ 和 $J(θ)J(\theta)$ 的几何意义分别如下：
在这里插入图片描述
从上图右可以看出，当 $θ1=0.5\theta_{1}=0.5$ 时，代价函数的值（蓝叉表示的点） $J(θ)=0.58J(\theta)=0.58$ ，增加了0.58。
（3）. 我们把 $θ1\theta_{1}$ 一些可能的取值画出来，就形成了以下曲线：