机器学习经典算法：逻辑回归(Logistic Regression)

逻辑回归（Logistic Regression） 是目前各行业最常用的分类方法，属于 线性回归的拓展。主要用于解决二分类问题，通过学习线性模型和应用逻辑函数（Sigmoid）将输出映射到概率值（0到1之间）。它根据输入特征预测样本属于某一类别的概率，常用于分类任务，如信用风险评估、医疗诊断和用户行为预测。逻辑回归简单高效，易于解释，适合线性可分的数据，同时也能通过扩展支持多分类和非线性特征处理。

特点：
该算法联系了样本的特征和样本发生概率($\hat{p}=f(x)$),在运算上由于 概率值 本身是一个数值，因此该方法分类方法被称为回归方法。算法最终得到样例的预测概率值 $\hat{p}$ 用于 分类问题。所以逻辑回归既可以看作是回归算法，也可以看作是分类算法，通常作为分类算法使用，只可以解决二分类问题。
$$\hat{y}=\{\begin{array}{r}0,\hat{p}\le 0.5;\\ 1,\hat{p}\ge 0.5\end{array}$$

1、逻辑回归的基本原理

逻辑回归源于线性回归的拓展，具体思路是将线性回归的样本输出预测值到样本概率值的一个转换过程。在线性回归$\hat{y}=f(x)={\theta }^T\cdot x_b$中，有预测的样本标记输出值 $\hat{y}\in (-\infty ,\infty )$。为了使样本输出值 $\hat{y}$ 转换为概率值 $\hat{p}\in [0,1]$，可通过Sigmoid 函数 转换 样本值 到 样本概率 $\hat{p}=\sigma ({\theta }^T\cdot x_b)$。

关于Sigmoid 函数
$$\sigma (t)=\frac{1}{1+e^{-t}}$$

Sigmoid 曲线具有如下性质:

• 函数曲线最左端无限趋近于0，函数曲线最右端无限趋近于1；值域 $\sigma (t)\in (0,1)$，因此很方便地用于表达概率；
• $\{\begin{array}{c}p>0.5,t>0;\\ p<0.5,t<0\end{array}$

使用 $Sigmoid$ 函数转换样本值为样本概率 $\hat{p}=\frac{1}{1+e^{-({\theta }^T\cdot x_b)}}$，进一步基于样本概率进行二分类任务 $\hat{y}=\{\begin{array}{c}1,\hat{p}\ge 0.5;\\ 0,\hat{p}\le \mathrm{0.5.}\end{array}$

1.2 逻辑回归的优化目标

对于给定的样本集$X$和样本分类$y$，找到参数$\theta$, 使得用 Sigmoid 转换可以最大程度获得样本数据集$X$对应的分类输出$y$。

1.2.1 目标函数的定义

对于二分类问题，样本输出标记取值为离散变量 y ∈ { 0 , 1 } y\in \{0,1\} y∈{ 0,1}。使用 Sigmoid 框架来获取样本特征到样本概率 ，再实现样本离散值标记的转换的时候。由于原始样本标记是一个离散值，而逻辑回归输出标记是一个分类概率值，意味着不能通过与类似线性回归等算法建立预测值与标记值的误差函数作为优化目标。

逻辑回归的损失函数定义建立在离散的样本标记上，定义如下 惩罚函数 ：

$cost=\{\begin{array}{c}如果y=1,\hat{p}越小，cost越大\\ 如果y=0,\hat{p}越大，cost越大\end{array}$
在进行逻辑回归的时候，如果样本 真值为1，当前$\theta$下的预测概率值$\hat{p}$越小，则有 惩罚越大；如果样本 真值为0，当前$\theta$下的预测概率值$\hat{p}$越大，则有惩罚越大；从而回归的目标为取得 最小惩罚下 对应的 参数$\theta$值。

1.2.2 惩罚函数的选取

$cost=\{\begin{array}{c}-log(\hat{p})ify=1\\ -log(1-\hat{p})ify=0\end{array}$

• 当$y=1$时，使用 $cost(\hat{p})=-log(\hat{p})$ 作为惩罚函数，$\hat{p}\in [0,1]$ ，当 $\hat{p}\to 0$ 的时候有 惩罚