梯度下降法

在了解了Logistic回归模型、损失函数、成本函数之后,可以利用梯度下降法,来训练或学习训练集上的参数wb

Logistic 回归算法:

y^(i)=σ(wTx(i)+b),σ(z(i))=11+ex(i),其中x(i)为第i个训练样本

成本函数:

J(w,b)=1mmi=1L(y^(i),y(i))=1mmi=1y(i)[log(y^(i))+(1y(i))log(1y^(i)))]

成本函数衡量了参数wb 在训练集上的效果。要习得合适的参数wb,我们需要找到使得成本函数J(w,b)尽可能小的wb

梯度下降法:

下图中的横轴表示空间参数wb。在实际情况中w可以是更高维的,这里为了方便,就让w是一个实数。成本函数J(w,b)是在水平轴wb上的曲面,曲面的高度表示了J(w,b)在某一点的值。

图1

我们希望找到点(w,b),使其对应的成本函数J值为最小值。可以看到,成本函数J(w,b)是一个凸函数(非凸函数往往有多个局部最优解,凸函数的局部最优即为全局最优),这也是将J(w,b)作为Logistic回归成本函数的重要原因之一。

起先,用某初始值初始化wb。对于Logistic回归而言,由于其是凸的,几乎是任意的初始化方法都有效,都应该达到同一点或者大致相同的点。梯度下降的做法就是,从初始点开始朝最陡的下坡方向走一步,也就是说尽可能快地往下走。一步一步向下走,很有希望收敛到或接近这个全局最优解。

J(w,b)实际进行参数更新时,每次梯度下降循环将对wb的进行如下操作:
w:=wαJ(w,b)w
b:=bαJ(w,b)b

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值