小白的机器学习笔记系列 之四-逻辑回归

对概率的预测

前面我们讲了线性分类和线性回归，这里让我们来思考另外一类问题——求概率问题。
比如说，我们根据一个人的既往病历，生活习惯，年龄等来判断一个人是否会得心肌梗塞。我们想要的答案不仅仅是一个简单的是或否，实际上我们希望知道的是得心肌梗塞的风险有多大。医生会根据病人的情况以及自己的经验做出很高危，高危，中等风险，低风险等判断，实际上这可以看做是一个概率问题，我们可以划定当得心肌梗塞的概率高于某个概率值时，我们认为是很高危，当处在某一个概率区间则认为是高危，以此类推。
那么，机器学习是否可以习得处理这一类问题的能力吗？ 是的，我们可以用逻辑回归算法来处理这一类问题。

数学模型

我们之前介绍过的线性回归模型如下:

$S(x)={\sum }_{i=0}^d{x}_i\ast w_i$

我们希望得到的输出是一个概率值，因此我们可以对$S(x)$再做一次如下变换，使得最终的输出结果落在0-1之间。
$\theta (S)=\frac{e^s}{1+e^s}$
上面这个函数的图像如下所示，可以看到输入S在$-\infty$到$+\infty$区间内，而输出$\theta (S)$则始终落在0到1之间。

由此变换得到的输出值是一个概率，而非是或否这样一个简单的结论，这个概率值被称为软阈值（soft threshold）。

衡量错误

让我们再回头看一下，应该如何来学习样本数据。依旧以“心肌梗塞发生概率预测问题”为例，我们得到的样本数据，包括每个病人的各种相关信息、是否发生心肌梗塞的实际结果。我们令1表示发生了心肌梗塞，0表示未发生心肌梗塞。
机器学习的目标是使预测结果尽可能的接近实际情况，我们可以用一个条件概率来概括上述问题，即求在输入参数$x$已发生的情况下$y$亦发生的概率$P(y|x)$。我们令$P(y|x)$表示如下：
$P(y|x)={\{}_{1-\theta (s)...y=0}^{\theta (s)...y=1}...$(1)

其中，$\theta (s)=\frac{e^s}{1+e^s},s(x,w)={\sum }_{i=0}^d{x}_i\ast w_i$

此处$\theta (s)$是发生心肌梗塞的概率。若病人实际发生了心肌梗塞（$y=1$）时，我们令$P(y|x)$为预测的心肌梗塞发生概率$\theta (s)$，且该概率应尽可能大。若该病人未发生心肌梗塞（$y=0$），我们令$P(y|x)$为$1-\theta (s)$，即该病人未发心肌梗塞的概率，1-$\theta (s)$应当尽可能大，相当于$\theta (s)$尽可能小。

总之，我们的问题最终归结为对与所有的训练样本$(x^1,y^1)，(x^2,y^2)，...，(x^N,y^N)$，求出一组W使得$P(y|x)$最大化。

这个问题似乎很难直接求解，我们转而寻找它的一系列等价命题如下：

• 等价一
  对$\frac{1}{N}{\prod }_{j=1}^{N}P(y^j|x^j)...$(2) 求最大值， N为训练样本总数。
• 等价二
  对(2)式求最大值，等价于对$-\frac{1}{N}ln({\prod }_{j=1}^{N}P(y^j|x^j))$求最小值
  说明： 此处我们对$P(y^j|x^j)$求乘积，主要也是考虑对数的乘积可以化为和的对数。

因为$P(y|x)$是一个分段函数，我们对它进行分段讨论。

• 当$y=1$时

$-\frac{1}{N}ln({\prod }_{j=1}^{N}P(y^j|x^j))$

$=-\frac{1}{N}{\sum }_{j=1}^N{y}^j\ast ln(\theta (s))...$(3)

• 同理，当$y=0$时

$-\frac{1}{N}ln({\prod }_{j=1}^{N}P(y^j|x^j))$

$=-\frac{1}{N}{\sum }_{j=1}^N(1-y^j)\ast ln(1-\theta (s))...$(4)

在此我们对这个分段函数用一个数学小技巧将分段函数统一到一个数学函数表达式中。
$Loss(\theta ,y)=-\frac{1}{N}{\sum }_{j=1}^N(y^j\ast ln(\theta (s))+(1-y^j)\ast ln(1-\theta (s)))...$(5)

(5)这个函数被称为交叉熵，在机器学习中它通常被用作逻辑回归的损失函数。为了求得它的最小值，我们会采用梯度下降法。

梯度下降求最小值

梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。—— [百度百科]

直观理解梯度下降

直观的来理解梯度下降算法，有点像盲人下山，我们先试探性的摸索自己站立位置周围，寻找到一个最为陡峭的方向，迈出一小步。然后，重复这个动作，一步一步向谷底走去，一直到我们向四周摸索，再也找不到向下的方向，我们就认为我们已经找到了谷底。

梯度下降的迭代计算步骤如下：

1. 求损失函数的梯度
2. 令$W(1)=W(0)-\lambda \nabla Loss$ 令$W(1)=W(0)-\gamma \nabla Loss$
3. 如果$W(1)-W(0)>0$，则重复如果$W(1)-W(0)>0$，则重复步骤1。否则，认为已经到达底部，停止。

损失函数求导

接下来，我们看一下如何计算这个损失函数的导数，使用链式法制求导过程如下。

$Loss(\theta ,y)=-\frac{1}{N}{\sum }_{j=1}^N(y^j\ast ln(\theta (s))+(1-y^j)\ast ln(1-\theta (s)))...$(5)

$\frac{\partial Loss}{\partial \theta }=-\frac{y}{\theta }+\frac{1-y}{1-\theta }$

$\frac{d\theta }{ds}=\theta (1-\theta )$ 这可以由$\theta$函数的对称性推导出来

$\frac{\partial Loss}{\partial s}=\frac{\partial Loss}{\partial \theta }\frac{d\theta }{ds}=(-\frac{y}{\theta }+\frac{1-y}{1-\theta })\ast (\theta (1-\theta ))=\theta -y$

$\frac{ds}{dw}=x$

$\frac{\partial Loss}{\partial w}=\frac{\partial Loss}{\partial \theta }\frac{d\theta }{ds}\frac{ds}{dw}=(\theta -y)\ast x$

最后，令$W^{\prime }=W-\gamma \frac{\partial L}{\partial w}$

比较$W^{\prime }$与$W$的值，若$W^{\prime }$小于$W$则重复以上步骤直到$W^{\prime }=W$。

学习率的选择

梯度下降算法中的步长$\gamma$被称为学习率（learning rate）。如果选择步长过小，则下降的速度太慢，如下图右图。如果选择步长过大，则很有可能会越过极值点，在极值点周围震荡。

我们期望的是，在下降的初期可以步伐大一些，而后期则步伐变小，以防错过了极值点。我们可以使用一个衰减的学习率，来获得这种效果。具体的方法，在后面介绍神经网络时会说到。

逻辑回归总结

1. 初始化权重值W(0)
2. 对于$t=0,1,2,....$
3. 计算损失函数的梯度 $\nabla Loss$
4. 更新权重值$W(t+1)=W(t)-\gamma \nabla Loss$
5. 比较$W(t+1)$与$W(t)$的值，若不等则继续重复3, 4步
6. 返回$W$值