逻辑回归（一）—— 基本推导

逻辑回归

介绍

逻辑回归是用来做分类的，样本已经做好了分类，我们构建模型使得面对一个新的样本时可以对它进行分类。

sigmoid函数

先来看这样一个函数
$$y=\frac{1}{1+e^{-x}}$$
这个函数叫做sigmoid函数，它的图像是这样的

可以看到无论x去什么值，总能把y映射到0~1之间。
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
通过这个式子，我们就把原本的y值重新映射了一遍，所有的$h_{\theta }(x)$都处在0~1之间，对于h值大于0.5的我们将其类别标记为1，对于h值小于0.5的我们将其类别标记为0。这样就完成了分类。

极大似然估计

一些事情已经发生了，我们就把他们当做是在最大概率的情况下发生的，这就是极大似然估计。

举个例子，一个盒子里有100个球，有黑白两种颜色，但不知道黑白具体数量。

现在你一把抓了10个球，9黑1白，那么盒子里最有可能的分布是什么？

自然是90个黑球，10个白球，因为这种情况会让我们有最大概率抓到9黑1白。

也就是说我们要找到最大概率使得现状发生的这种情况，这种情况也就是最有可能的原有状况。

假设事件$x_i$发生的概率为$P_{x_i}$,那么这些事件都发生的概率就是：
$$P_{总}=\prod _{i=1}^n{P}_{x_i}$$
此时我们还不知道$\theta$的具体值，我们的目的就是求出使得$P_{总}$达到最大的$\theta$.

${\prod }_{i=1}^{n}P(x_i,\theta )$也被称为似然函数。

代价函数

sigmoid函数的值域处在0~1之间，正好用来表示概率。

因此事件$x_i$发生的概率就是
$$P(x_i,\theta )=\{\begin{array}{l}{h}_{\theta }(x_i),y=1\\ 1-h_{\theta }(x_i),y=0\end{array}$$
写成一个式子就是
$$P(x_i,\theta )=h_{\theta }(x_i{)}^y(1-h_{\theta }(x_i){)}^{1-y}$$
那么$P_{总}$就是
$$P_{总}=\prod _{i=1}^n{h}_{\theta }(x_i{)}^{y_i}(1-h_{\theta }(x_i){)}^{1-y_i}$$
乘法太麻烦，我们求$ln{P}_{总}$的最大值也是一样
$$ln{P}_{总}=\sum _{i=1}^n{y}_{i}ln{h}_{\theta }(x_i)+(1-y_i)ln(1-h_{\theta }(x_i))$$
一般代价函数都会写成求最小值，所以我们在$ln{P}_{总}$加个负号。
$$J(\theta )=-\sum _{i=1}^n{y}_{i}ln{h}_{\theta }(x_i)+(1-y_i)ln(1-h_{\theta }(x_i))$$
这就是根据极大似然估计得出的逻辑回归的代价函数。

梯度下降

梯度下降是老办法了
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$
还是求偏导
$$J(\theta )=-\sum _{i=1}^n{y}_{i}ln{h}_{\theta }(x_i)+(1-y_i)ln(1-h_{\theta }(x_i))$$

$$\frac{\partial J(\theta )}{\partial \theta }=-\sum _{i=1}^n(\frac{y_i}{h_{\theta }(x_i)}-\frac{1-y_i}{1-h_{\theta }(x_i)})\frac{\partial h_{\theta }(x_i)}{\partial \theta }$$

在最开始我们已经得到
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$
我们令${\theta }^{T}x=t$

那么$h(t)=\frac{1}{1+e^{-t}}$
$$h^{，}(t)=\frac{1}{e^t+e^{-t}+2}$$
又因为
$$h(t)\ast (1-h(t))=\frac{1}{e^t+e^{-t}+2}$$
故
$$h^{，}(t)=h(t)\ast (1-h(t))$$

$$\frac{\partial h_{\theta }(x_i)}{\partial \theta }=h^{，}(t)\ast \frac{\partial t}{\partial \theta }=h^{，}(t)\ast \frac{\partial {\theta }^{T}x}{\partial \theta }=h(t)\ast (1-h(t))\ast x_i=h_{\theta }(x_i)(1-h_{\theta }(x_i))\ast x_i$$

$$\frac{\partial J(\theta )}{\partial \theta }=\sum _{i=1}^n{x}_i(h_{\theta }(x_i)-y_i)$$

这么一来迭代的函数就有了
$${\theta }_j:={\theta }_j-\alpha \sum _{i=1}^n{x}_i(h_{\theta }(x_i)-y_i)$$