逻辑回归（LR）

• 资料领取 | 干货分享 | 欢迎来访 >>>>>> 个人博客主页(戳我)

一、推导过程

假设要解决的问题是一个二分类问题，目标值为 { 0 , 1 } \{0, 1\} {0,1}，以线性回归为基础，将模型输出映射到 $[0,1]$ 之间。我们选择这样一个函数：
$$\begin{gathered} g(z)=\frac{1}{1+e^{-z}} \\ {h}_{\theta }(x)=g({\theta }^{T}x)=\frac{1}{1+e^{-{\theta }^{T}x}} \end{gathered}$$
其中$g(z)$被称为 sigmoid 函数。为什么要选择 sigmoid 函数其实是可以通过指数分布族加上广义线性模型进行推导分析的。通过 sigmoid 函数我们可以计算单个样本属于正类还是负类的概率：
$$\begin{gathered} p(y=1|x;\theta )=h_{\theta }(x) \\ p(y=0|x;\theta )=1-h_{\theta }(x) \end{gathered}$$
我们将上面两个式子合并成一个：
$$p(y=x|;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{(1-y)}$$
有了上面这个式子，我们就能很容易的得到函数 $h$ 在整个数据集上的似然函数：
$$\begin{array}{rl}l(\theta )=& P(Y|X;\theta )\\ =& \prod _{i}p(y^{(i)}|x^{(i)};\theta )\\ =& \prod _i(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{(1-y^{(i)})}\end{array}$$
转为对数似然函数：
$$\begin{array}{rl}L(\theta )=& logl(\theta )\\ =& \sum _{i=1}^m[y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(l-h_{\theta }(x^{(i)}))]\end{array}$$
假设我们用随机梯度下降法更新参数，每次只用一个样例，则上面的对数似然函数退化成：
$$L(\theta )=y^{(i)}log{h}_{\theta }(x^{(i)})+(1-y^{(i)})log(l-h_{\theta }(x^{(i)}))$$
更新参数的公式为：
$${\theta }_j:={\theta }_j+\alpha \cdot \frac{\partial }{\partial {\theta }_j}L(\theta )$$
这里的 $\alpha$ 就是学习率。其次注意式子里的 “+”，因为我们要极大化对数似然函数，所以我们需要沿着梯度方向更新参数。接下来我们要做的就是求出 $L(\theta )$ 对各个参数的偏导。
（1）首先我们知道 sigmoid 函数的求导结果为：
$$g^{\prime }(z)=g(z)(1-g(z))$$
（2）我们可以推导出 $L(\theta )$ 对各个参数的偏导为：
$$\frac{\partial }{\partial {\theta }_j}L(\theta )=x_j(y-h_{\theta }(x))$$

（3）所以，参数更新公式为：
$${\theta }_j:={\theta }_j+\alpha (y^{(i)}-h_{{\theta }_j}(x^{(i)}))x_j^{(i)}$$

如果我们用梯度下降法，每次更新参数用所有样例，则参数更新公式为：
$${\theta }_j:={\theta }_j+\sum _{i=1}^m\alpha (y^{(i)}-h_{{\theta }_j}(x^{(i)}))x_j^{(i)}$$

二、参考

• 斯坦福机器学习课程 —— 吴恩达
• 斯坦福ML公开课笔记 —— 张雨石