逻辑回归—极大似然估计的理解

本文深入解析了极大似然估计这一统计学方法的核心思想,即如何通过已知事件的发生来寻找最可能的原因,特别强调了其在逻辑回归中的应用。通过对比不同损失函数,阐述了极大似然函数作为损失函数的优势,包括梯度特性与全局最优解的保障。

极大似然估计是一种参数估计的方法。已知某个事件已经发生,求导致该事情发生的概率最大的原因。

核心思想:找到参数 θ 的一个估计值,使得当前样本出现的可能性最大。

即联合概率最大,需要写出联合概率密度函数,即似然函数,求似然函数最大时参数的值

相当于求y最大时,x的值(凸函数,导数为0时,极值就是最值)

逻辑回归采用极大似然函数做为损失函数的原因:

一是梯度(偏导数)只与x,y相关,与sigmoid函数的梯度无关(最大为0.25,会导致参数更新慢)

二是极大似然函数为凸函数,局部最优解即为全局最优解(极值为最值),若采用平方损失函数,损失函数为theta的非凸函数,存在局部最优解

 

参考链接:https://www.jianshu.com/p/eabbf37b913b

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值