逻辑回归（对数几率回归）_逻辑回归 sigmoid 概率-优快云博客

一概述

1. 广义线性模型

一般得到的线性模型为: $y=w^Tx+b$ 。但是，我们通常希望线性模型的预测值能够逼近
实际值，故会对y进行处理。例如，对数回归： $ln y =w^Tx+b$ ,这里的对数函数起到了将
预测值和实际标记联系起来的作用。

推广到一般，考虑单调可微函数 $g(⋅)g(\cdot)$ ，令 $g−1(⋅)g^{-1}(\cdot)$ 表示其反函数，有：
$\begin{aligned} y = g^{-1}(w^Tx+b) \end{aligned}$
这就是“广义线性模型”，其中 $g(⋅)g(\cdot)$ 称为“联系函数”。

2. Logistic Regression 介绍

逻辑回归虽然叫回归，其实是分类模型。由于线性回归模型的预测值是连续的，分类任务
的标记是离散的，线性模型无法做分类任务。怎么办？用广义线性模型解决，建立预测值
到分类标记的联系，即找到一个单调可微函数使 $z=w^T+b$ 与{0,1}映射起来。

最简单的是单位阶跃函数：
$\begin{aligned} y=\begin{cases} 0 & z<0 \\ 0.5 &z=0\\ 1&z>0\end{cases},其中z=w^Tx+b \end{aligned}$
单位阶跃函数不可微 ，不能用于广义线性模型。但是，很有必要讨论一下这个函数的意义。
如下图，这个函数表示：在直线之上的点归于正类，直线之下的点归于反类，在直线上的
点可做任意判断。
在这里插入图片描述

单位阶跃函数虽然不行，但是它使得了广义线性回归模型能用于分类任务，这给出了启发。
于是，我们试图寻找一个单调可微的函数来近似替代单位阶跃函数，所以我们引入了对数
几率函数（Sigmoid Function）
$\begin{aligned} y=\frac{1}{1+e^{-z}} \end{aligned}$
该函数图像如下：
在这里插入图片描述
Sigmoid函数大部分值接近0或1，而且在z=0附近变化很陡，能近似地代替单位阶跃函数。
并且我们可以将逼近值视为正例概率，即

$\begin{aligned} P(Y=1|X)&=y=\frac{1}{1+e^{-(w^Tx+b)}}\\ P(Y=0|X)&=1-y=\frac{e^{-(w^Tx+b)}}{1+e^{-(w^Tx+b)}} \end{aligned}$
令 $y1−y\frac{y}{1-y}$ 称为几率，表示x作为正例地相对可能性。再取对数得对数几率，有：

$\begin{aligned} ln \frac{y}{1-y} = w^Tx+b \end{aligned}$
上述等式就是逻辑回归模型，其实质是在用线性回归模型预测结果去逼近真实标记的对
数几率。逻辑回归的思想是：建立线性模型和分类标记的联系后，先根据样本建立分类
的线性模型边界，再预测新样本的对数几率来进行分类。