从0开始学习机器学习--Day2--梯度下降及其在线性回归的应用

在上一篇文章中初步地了解了机器学习的一些概念并接触了代价函数的数学定义,今天从代价函数开始继续学习机器学习

代价函数(cost function)

代价函数 J(\theta _0,\theta_1)= \frac{1}{2m}\sum_{1}^{m}{(h(x^{i})-y^{i})}^{2}

为了更好地让代价函数J可视化,令 \theta_0 = 0 ,从而获得代价函数 h_\theta(x) = \theta_1x

取一个只有(1,1)(2,2)(3,3)训练集,当 \theta_1 分别取到1、0.5、0时,代价函数的输出值为0、0.58、2.3,若是把 \theta_1 能取到的所有值对应的代价函数值画出来,我们能观察到 J(\theta) 的形状像二次函数,而当 \theta_1 取到1时代价函数的值最小且为0。而学习算法的目标,就是通过选择\theta_1 的值来获得最小的 J(\theta_1) 。

但如果 \theta_0不为0,例如取到50,并且取 \theta_1 为0.06,代价函数 J (\theta_0,\theta_1) 的图像如下图:

代价函数三维碗状图

曲面的高度就是代价函数的值,水平方向上的点的高度都是一致的,用等高图来表示可以更清晰地看到:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值