Logistic Regression分类介绍

对数几率回归时为了使用线性回归模型来做分类任务，使用对数几率函数，把线性模型的预测值和样本的真实标记$y$连接起来。
对数几率函数：

$y=\frac{1}{1+e^{-z}}$

单位阶跃函数：
$f(x)=\{\begin{array}{ll}1& z>0\\ 0.5& z=0\\ 0& z<0\end{array}$
对数几率函数和单位阶跃函数图像：

使用对数几率函数是因为：
二分类任务中，需要将线性回归模型$z=w^{T}x+b$的预测值$z$转换为0和1，理论上单位阶跃函数最适合，预测值 $z$ 大于零就判为 正例,小于零则判为反例预测值为 临界值零则可任意判别。
由于单位阶跃函数不连续，不适于计算，而对数几率函数是连续函数，对单位阶跃函数的逼近比较好，输出值在 $z$ = 0 附近变化很陡,将 z 值转化为一个接近 0 或 1 的 $y$值，即：
$y=\frac{1}{1+e^{-z}}$
将对数几率回归和线性回归结合起来的到：

$y=\frac{1}{1+e^{-(w{x}^T+b)}}$
即：
$ln\frac{y}{1-y}=w^{T}x+b$
把$y$看做是样本为正例的概率，$1-y$则为样本为负例的概率，$\frac{y}{1-y}$为几率。对几率做对数即为对数几率回归。
通俗的讲，对数几率回归就是利用线性回归的输出值。根据线性回归的输出值$z$来判断样本为正例还是负例，判断的方法是对这个输出值$z$做对数几率变换。

流程为：
1、由输入$x$通过线性模型得到$z$;
2、由$z$通过对数几率得到两个值0和1，分别对应输入$x$位负例还是正例。
要得到$z$就要确定$z=w^{T}x+b$中的$w$和$b$，我们通过极大似然法来估计$w$和$b$，对于$ln\frac{y}{1-y}=w^{T}x+b$，将$y$视为类后验概率估计$p(y=1|x)$(即拿出一个样本$x$，这个样本为‘1’类的概率)，则原式为
$ln\frac{p(y=1|x)}{p(y=0|x)}=w^{T}x+b$,

又因为
$p(y=0|x)+p(y=1|x)=1$,可得：

$p(y=1|x)=\frac{e^{(w{x}^T+b)}}{1+e^{(w{x}^T+b)}}$

$p(y=0|x)=\frac{1}{1+e^{(w{x}^T+b)}}$

此时对于二分类问题，损失函数为$cost（x,y）=\{\begin{array}{ll}-ln(\frac{1}{1+e^{-(w{x}^T+b)}})& y=1\\ -ln(1-\frac{1}{1+e^{-(w{x}^T+b)}})& y=0\end{array}$
=$\{\begin{array}{ll}-ln(\frac{e^{(w{x}^T+b)}}{1+e^{(w{x}^T+b)}})& y=1\\ -ln(\frac{1}{1+e^{(w{x}^T+b)}})& y=0\end{array}$
=$\{\begin{array}{ll}-ln(p(y=1|x))& y=1\\ -ln(p(y=0|x))& y=0\end{array}$
其中y=1表示正样本，y=0表示负样本。

对于给定的数据集$[(x_i,y_i){]}_{i=1}^m$，对率回归模型最大化对数似然（即对后验概率的对数求和）得到：
$l(w,b)={\sum }_{i=1}^{m}lnp(y_i|x_i;w,b)$
让每个样本属于其真实标记的概率越大越好。
令$\beta =(w,b)$;$\hat{x}=(x;1)$ ,$w^{T}x+b$则为${\beta }^T\hat{x}$，
令$p_1(\hat{x};\beta )=p(y=1|\hat{x};\beta )$,
$p_0(\hat{x};\beta )=p(y=0|\hat{x};\beta )=1-p_1(\hat{x};\beta )$
把$p_1(\hat{x};\beta )$和$p_0(\hat{x};\beta )$合并起来为：
$p(\hat{x};\beta )$ =$p(y=1|\hat{x};\beta {)}^{y_i}p(y=0|\hat{x};\beta {)}^{1-y_i}$
$=p_1(\hat{x};\beta {)}^{y_i}{p}_0(\hat{x};\beta {)}^{1-y_i}$
该式可以看做为损失函数
则：
$ln(p(y_i|x_i;w,b))$ = $y_{i}ln(p_1(\hat{x};\beta ))+(1-y_i)ln(p_0(\hat{x};\beta ))$
该式可看做对数损失函数

带入得：
$l(\beta )={\sum }_{i=1}^m(y_{i}ln(p_1(\hat{x};\beta ))+(1-y_i)ln(p_0(\hat{x};\beta )))$
$={\sum }_{i=1}^m(y_{i}ln(\frac{e^{(w{x}^T+b)}}{1+e^{(w{x}^T+b)}})+(1-y_i)ln(\frac{1}{1+e^{(w{x}^T+b)}})$
$={\sum }_{i=1}^m(y_i((w{x}^T+b)-ln(1+e^{(w{x}^T+b))})-(1-y_i)ln(1+e^{(w{x}^T+b)})$
$={\sum }_{i=1}^m(y_i((w{x}^T+b)-ln(1+e^{(w{x}^T+b)})$
$={\sum }_{i=1}^m(y_i{\beta }^T\widehat{x_i}-ln(1+{\beta }^T\widehat{x_i}))$
该式可看做代价函数
改为求最小值：
$l(\beta )={\sum }_{i=1}^m(-y_i{\beta }^T\widehat{x_i}+ln(1+{\beta }^T\widehat{x_i}))$
该式可看做目标函数
可使用不同的优化求解最小值的方法求出最优解${\beta }^{\ast }=argminl(\beta )$

对数几率回归的优点：
例如它是直接对分类可能性进行建模，无需事先假设数据分布?这样就避免了假设分布不准确所带来的问题;它不是仅预测出"类别"，而是可得到近似概率预测，这对许多需利用概率辅助决策的任务很有用;此外，对率函数是任意阶可导的凸函数，有很好的数学性质，现有的许多数值优化算法都可直接用于求取最优解。

使用sklearn来调用逻辑回归

from sklearn import datasets
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
digits = datasets.load_digits()
x_digits = digits.data
y_digits = digits.target

x_train = x_digits[:round(.9*len(x_digits))]
x_test = x_digits[round(.9*len(x_digits)):]

y_train = y_digits[:round(.9*len(y_digits))]
y_test = y_digits[round(.9*len(y_digits)):]
logistic = LogisticRegression()

print('Logistic Score: %f'%logistic.fit(x_train,y_train).score(x_test,y_test))