Logistic回归

1. 模型简介

logistic回归模型可以看做只包含一个神经元的2层神经网络：

其激活函数为sigmoid函数：

$$f(z)=\frac {1}{1+exp(-z)}$$

---

模型输出为：

$$h_{\theta}(x)=f(\theta^Tx)=f(\theta_0+\theta_1x_1+...+\theta_nx_n)$$

---

求最优参数的最大似然函数可以表示为：

$$l(\theta)=\sum_{i=1}^m(y_i ln(h_{\theta}(x))+(1-y_i)ln(1-h_{\theta}(x)))$$

---

目标函数为：

$$J(\theta)=[-\frac {1}{m}\sum_{i=1}^m(y_i ln(h_{\theta}(x))+(1-y_i)ln(1-h_{\theta}(x)))]+\frac {1}{2}\lambda||\theta||^2$$
最小化上式的第一项相当于最大化似然函数，也可以看做对模型输出和真值之间的不同施加惩罚。第二项是正则化项，对过大的参数施加惩罚，防止模型过拟合。

---

2. 模型训练

模型参数的求解可以通过批量梯度下降法求得。
目标函数的导数为：

$$\frac{\partial J(\theta)}{\partial \theta}=[\frac {1}{m}\sum_{i=1}^m(h_{\theta}(x)-y_i)x]+\lambda \theta$$
若根据上式进行编程，需要for循环来实现，算法的执行效率较低，可以将公式矩阵化，去掉for循环，改善代码的执行效率。

---

目标函数的矩阵形式表示为：

$$\frac{\partial J(\theta)}{\partial \theta}=\frac {1}{m}X(h_{\theta}(X)-y)+\lambda \theta$$
其中 $X$是（n+1）*m大小的矩阵，每一列表示一个实例，样本数为m。$y$为m*1大小的矩阵，每行的值代表实例的真值，取值范围为 $\{0,1\}$。

---

每一次迭代过程中参数更新：

$$\theta=\theta-\alpha\frac{\partial J(\theta)}{\partial \theta}$$
其中 $\alpha$为参数的学习率。

---

3. python代码实现

for i in xrange(0, num_passes):

        # batch gradient descent
        delta_theta = X.dot(sigmoid(X.T.dot(theta))-y)
        delta_theta *= 1.0/num_examples
        delta_theta += reg_lambda*theta

        # gradient descent parameter update
        theta += -alpha*delta_theta

return theta

给定下面类别数为2，包含200个样本的数据库：

使用sklearn.linear_model.LogisticRegressionCV()得到的训练结果如下图（左）所示，本文批量梯度下降算法的实验结果如下图（右）所示：

---

完整的python代码地址为：
https://github.com/dumengnanbuaa/logistic-regression_python