逻辑回归（对数几率回归）

一 概述

1. 广义线性模型

一般得到的线性模型为: $y=w^{T}x+b$。但是，我们通常希望线性模型的预测值能够逼近
实际值，故会对y进行处理。例如，对数回归：$lny=w^{T}x+b$,这里的对数函数起到了将
预测值和实际标记联系起来的作用。

推广到一般，考虑单调可微函数$g(\cdot )$，令$g^{-1}(\cdot )$表示其反函数，有：
$$\begin{array}{r}y=g^{-1}(w^{T}x+b)\end{array}$$
这就是“广义线性模型”，其中$g(\cdot )$称为“联系函数”。

2. Logistic Regression 介绍

逻辑回归虽然叫回归，其实是分类模型。由于线性回归模型的预测值是连续的，分类任务
的标记是离散的，线性模型无法做分类任务。怎么办？用广义线性模型解决，建立预测值
到分类标记的联系，即找到一个单调可微函数使$z=w^T+b$与{0,1}映射起来。

最简单的是单位阶跃函数：
$$\begin{array}{r}y=\{\begin{array}{ll}0& z<0\\ 0.5& z=0\\ 1& z>0\end{array},其中z=w^{T}x+b\end{array}$$
单位阶跃函数不可微 ，不能用于广义线性模型。但是，很有必要讨论一下这个函数的意义。
如下图，这个函数表示：在直线之上的点归于正类，直线之下的点归于反类，在直线上的
点可做任意判断。

单位阶跃函数虽然不行，但是它使得了广义线性回归模型能用于分类任务，这给出了启发。
于是，我们试图寻找一个单调可微的函数来近似替代单位阶跃函数，所以我们引入了对数
几率函数（Sigmoid Function）
$$\begin{array}{r}y=\frac{1}{1+e^{-z}}\end{array}$$
该函数图像如下：

Sigmoid函数大部分值接近0或1，而且在z=0附近变化很陡，能近似地代替单位阶跃函数。
并且我们可以将逼近值视为正例概率，即

$$\begin{array}{rl}P(Y=1|X)& =y=\frac{1}{1+e^{-(w^{T}x+b)}}\\ P(Y=0|X)& =1-y=\frac{e^{-(w^{T}x+b)}}{1+e^{-(w^{T}x+b)}}\end{array}$$
令$\frac{y}{1-y}$ 称为几率，表示x作为正例地相对可能性。再取对数得对数几率，有：

$$\begin{array}{r}ln\frac{y}{1-y}=w^{T}x+b\end{array}$$
上述等式就是逻辑回归模型，其实质是在用线性回归模型预测结果去逼近真实标记的对
数几率。逻辑回归的思想是：建立线性模型和分类标记的联系后，先根据样本建立分类
的线性模型边界，再预测新样本的对数几率来进行分类。

二.模型求解

1.逻辑回归模型

给定数据集$D=\{\begin{array}{c}(x_1,y_1),(x_2,\end{array}$