logistic回归公式推导

假设函数

h(θ)=11+eθTXh(θ)=11+e−θTX

为什么使用sigmod

这个网上有很多文章,但是还是不太看懂。大概就是0-1之间增函数,还有是指数分布簇。

代价函数

J(θ)=1mi=1m[yilog(hθ(xi))+(1yi)log(1hθ(xi))]J(θ)=−1m∑i=1m[yilog⁡(hθ(xi))+(1−yi)log⁡(1−hθ(xi))]

代价函数推导

伯努利分布

P(X=n)={1p,n=0p,n=1P(X=n)={1−p,n=0p,n=1

求p的最大似然估计量

P{X=x}=px(1p)1p=0,1px(1−p)1−p=0,1

x1,x2,,xnx1,x2,…,xn是给定的样本值

对应的似然函数

L(p)=i=1npxi(1p)1xi(0<p<1)L(p)=∏i=1npxi(1−p)1−xi(0<p<1) 求L(p)的最大值点

取对数

lnL(p)=i=1nln[pxi(1p)1xi]ln⁡L(p)=∑i=1nln⁡[pxi(1−p)1−xi]

=i=1n[xilnp+(1xi)ln(1p)]=∑i=1n[xiln⁡p+(1−xi)ln⁡(1−p)]

替换成logistic回归

Cost(h(θ),y)={log(hθ(x)),y=1log(1hθ(x)),y=0Cost(h(θ),y)={−log(hθ(x)),y=1−log(1−hθ(x)),y=0
(价函数
J(θ)=1m[I=1myiloghθ(xi)+(1yi)log(1hθ(xi))]J(θ)=−1m[∑I=1myiloghθ(xi)+(1−yi)log(1−hθ(xi))]

代价函数求导

J(θ)=1m[I=1myiloghθ(xi)+(1yi)log(1hθ(xi))]J(θ)=−1m[∑I=1myiloghθ(xi)+(1−yi)log(1−hθ(xi))]
θj=1mI=1mθj[yiloghθ(xi)+(1yi)log(1hθ(xi))]∂∂θj=−1m∑I=1m∂∂θj[yiloghθ(xi)+(1−yi)log(1−hθ(xi))]
=1mI=1m[yiloghθ(xi)]+[(1yi)log(1hθ(xi))]=−1m∑I=1m[yiloghθ(xi)]′+[(1−yi)log(1−hθ(xi))]′ ……….((u+v)=u+v(u+v)′=u′+v′)
=1mI=1m[yiloghθ(xi)]+[(1yi)log(1hθ(xi))]=−1m∑I=1m[yiloghθ(xi)]′+[(1−yi)log(1−hθ(xi))]′ ……….((uv)=uvuv(uv)′=u′v−uv′)
=1mI=1m[(yi)loghθ(xi)+yi(loghθ(xi))]+[(1yi)log(1hθ(xi))+(1yi)log(1hθ(xi))]=−1m∑I=1m[(yi)′loghθ(xi)+yi(loghθ(xi))′]+[(1−yi)′log(1−hθ(xi))+(1−yi)log(1−hθ(xi))′]
=1mI=1m[(yi)loghθ(xi)+yi(loghθ(xi))]+[(1yi)log(1hθ(xi))+(1yi)log(1hθ(xi))]=−1m∑I=1m[(yi)′loghθ(xi)+yi(loghθ(xi))′]+[(1−yi)′log(1−hθ(xi))+(1−yi)log(1−hθ(xi))′]……….(h(θ)=11+eθTXh(θ)=11+e−θTX带入)
=1mI=1m[yi(log(11+eθTxi)]+[(1yi)log(1+eθTxi11+eθTxi)]=−1m∑I=1m[yi(log(11+e−θTxi)′]+[(1−yi)log(1+e−θTxi−11+e−θTxi)′] ……….((Cu)=Cu,(log(u))=1uu(Cu)′=Cu′,(log(u))′=1uu′)
=1mI=1m[yi(1+eθTxi)(11+eθTxi)]+[(1yi)(1+eθTxieθTxi)(eθTxi1+eθTxi)]=−1m∑I=1m[yi(1+e−θTxi)(11+e−θTxi)′]+[(1−yi)(1+e−θTxie−θTxi)(e−θTxi1+e−θTxi)′] ……….((uv)=uvuvv2,(eCx)=CeCx(uv)′=u′v−uv′v2,(e−Cx)′=−Ce−Cx)
=1mI=1m[yi(1+eθTxi)(0(1+eθTxi)(1+eθTxi)2)][(1yi)(1+eθTxieθTxi)((eθTxi)(1+eθTxi)2)]=−1m∑I=1m[yi(1+e−θTxi)(0−(1+e−θTxi)′(1+e−θTxi)2)]−[(1−yi)(1+e−θTxie−θTxi)((e−θTxi)′(1+e−θTxi)2)]
=1mI=1m[yi((1+eθTxi)(1+eθTxi))][(1yi)(xi(1+eθTxi))]=−1m∑I=1m[yi(−(1+e−θTxi)′(1+e−θTxi))]−[(1−yi)(xi(1+e−θTxi))]……….((eCx)=CeCx(e−Cx)′=−Ce−Cx)
=1mI=1myixeθTxix+xyi1+eθTxi=−1m∑I=1myixe−θTxi−x+xyi1+e−θTxi
=1mI=1myi(1+eθTxi1)1+eθTxixj=−1m∑I=1myi(1+e−θTxi−1)1+e−θTxixj
=1mI=1myi(1+eθTxi1)1+eθTxixj=−1m∑I=1myi(1+e−θTxi−1)1+e−θTxixj
=1mI=1myi11+eθTxixi=−1m∑I=1myi−11+e−θTxixi
=1mI=1m[yihθ(xi)]xj=−1m∑I=1m[yi−hθ(xi)]xj

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值