博客主要围绕逻辑回归（LR）和Softmax展开。先推导LR损失函数，通过对数似然函数取得参数w，再用交叉熵得到损失函数，还涉及LR梯度下降。此外，介绍了Softmax原理，即计算样本不同类别概率并归一化选最大概率为分类类别，也提及了Softmax损失函数和梯度下降推导。
一. 推导LR损失函数
1.通过对数似然函数来取得参数www
二分类，标签设置为 y1=1，y0=0，有m个样本。
L(w)=∏imfw(x1)⋅fw(x2)⋅(1−fw(x3))...fw(xm)L(w)=\prod_{i}^{m}f_w(x_1)\cdot f_w(x_2)\cdot(1-f_w(x_3))...f_w(x_m)L(w)=∏imfw(x1)⋅fw(x2)⋅(1−fw(x3))...fw(xm)
w∗=argmaxwL(w)w^*=argmax_{w}L(w)w∗=argmaxwL(w)
经过取对数取反得到
−lnL(w)=−∑imyiln(f(wi))+(1−yi)ln(1−f(wi))-lnL(w)=-\sum _{i}^{m}y_iln(f(w_i))+(1-y_i)ln(1-f(w_i))−lnL(w)=−∑imyiln(f(wi))+(1−yi)ln(1−f(wi))
2.交叉熵得到LR损失函数
二. LR梯度下降
Softmax原理
个人理解是，计算出样本属于不同类别的概率，然后进行归一化，选出概率最大的为分类类别
具体的原理待补。
Softmax损失函数和梯度下降推导
扫一扫
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
