逻辑斯特回归(随机梯度上升算法)预测马疝病的死亡率问题

预测马疝病死亡率github代码

随机梯度上升(下降)算法推导过程：

使用的一些变量，类别标签向量$y$，数据集样本矩阵$X$，回归系数向量$W$，观察值与真实值偏差向量$e$，步长(学习率)$\alpha$，PS:以上向量均为标准列向量。
那么我们的目标就是损失(代价)函数cost function(lost function)最小化，也就是$f=e^Te$最小，进一步地，也就是似然函数最大$-\frac{1}{2}e^Te$最大，
$f(W)\ = \ \underbrace{argmax}_{\omega\ \in\ W}\ =\ -\frac{1}{2}e^Te\ =\ -\frac{1}{2}(y-XW)^T(y-XW)\ =\ -\frac{1}{2}(y^Ty-y^TXW-W^TX^Ty+W^TX^TXW)$
则梯度为，

$$\frac{\partial{f(\omega)}}{\partial{\omega}}\ =\ -\frac{1}{2}(2X^TXW-2X^Ty)\ =\ X^T(y-XW)\ =\ X^Te$$
由此得， $$W\ =\ W+\alpha X^Te\ = \ W+\alpha\nabla_{\omega}f(\omega)$$