Logistic回归模型：常用参数优化方法总结

Logistic模型常用的参数优化方法有，梯度下降法，牛顿法，拟牛顿法，坐标轴下降法等。

Logistic回归模型可以表示如下：
$$y=\frac{1}{1+e^{-(w^{T}x+b)}}$$
令y=h(x),则有下式：
$$P(y|x;w)=(h(x){)}^y(1-h(x){)}^{1-y}$$
其中，y取值0或1，构造似然函数如下：
L ( w ) = ∏ i = 1 n P ( y i ∣ x i ; w ) = ∏ i = 1 n ( h ( x i ) ) i y ( 1 − h ( x i ) ) 1 − y i L(w)=\prod^n_{i=1} P(y_i|x_i;w)=\prod^n_{i=1}(h(x_i))^y_i(1-h(x_i))^{1-y_i} L(w)=i=1∏n​P(yi​∣xi​;w)=i=1∏n​(h(xi​))