逻辑回归：损失函数与梯度下降

1.1 sigmoid函数

由于二分类结果是1或者0，这与数学的阶跃函数很类似，但是阶跃函数在x=0的位置会发生突变，这个突变在数学上很难处理。所以一般使用sigmoid函数来拟合：

$$g(z)={\frac 1{1+e^{-z}}}\tag{1}$$

具体应用到逻辑回归算法中：

$$z={\omega}_0+{\omega}_1x_1+{\omega}_2x_2+......+{\omega}_nx_n=\sum_{i=0}^n{\omega}_ix_i＝\mathbf{\omega^TX}\tag{2}$$

其中$x_i$表示样本属性（对于我们而言，就是标签IP）的值， $\omega_i$表示这个属性对应的系数（也就是算法需要计算的内容）。注意这里将$x_0$与$\omega_0$也代入了上述公式，其中前者恒为1。于是问题就变成了在训练样本中，已知属性x与最终分类结果y（1或者0）时，如何求得这些系数 $\omega_i$，使得损失最小。

1.2 极大似然估计MLE与损失函数

在机器学习理论中，损失函数（loss function）是用来衡量模型的预测值$f(x)$与真实值$Y$的不一致程度，它是一个非负实值函数，损失函数越小，模型越优（还需考虑过拟合等问题）。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子

$$\omega^* = \arg \min_\omega \frac{1}{m}{}\sum_{i=1}^{m} L(y_i, f(x_i; \omega)) + \lambda\ \Phi(\omega)\tag{3}$$

其中m表示样本的数量。对于逻辑回归，其loss function是log损失，这可以通过极大似然估计进行推导得到。

首先，给定一个样本$x$，可以使用一个线性函数对自变量进行线性组合，即上述的（2）式子：

$$z={\omega}_0+{\omega}_1x_1+{\omega}_2x_2+......+{\omega}_nx_n=\sum_{i=0}^n{\omega}_ix_i＝\mathbf{\omega^TX}\tag{4}$$

根据sigmoid函数，我们可以得出预测函数的表达式为：

$$h_{\omega}(x) = g(\omega^Tx) = \frac{1}{1 + e^{-\omega^Tx}}\tag{5}$$
上式表示 $y=1$的预测函数为 $h_{\omega}(x)$。在这里，假设因变量 $y$服从伯努利分布，取值为 $0$和 $1$，那么可以得到下列两个式子：

p(y=1|