logistic regression前世今生

机器学习专业学习社区【机器学习之家】出品,QQ 交流群:342942219
机器学习专业学习社区【机器学习之家】出品,QQ 交流群:342942219
机器学习专业学习社区【机器学习之家】出品,QQ 交流群:342942219
LR 模型在目前的工业界仍然应用非常广,是最重要的基础模型。当解决一个工程问题时,如果一开始就上 DNN 这样的高级模型,并不明智。
原因:
1)数据的可能有问题:多分类中分类标准是否有重叠;噪声数据的清洗;样本不均衡;实际获取到的训练数据往往是通过一些规则得到的,可能是有偏的
2)特征可能不合理
3)训练一个复杂的模型的时间成本高,比如一个 DNN 模型可能得一周甚至更久(训练过程中还经常需要调参),在数据和特征都可能存在瑕疵的情况下,一开始就用复杂模型并不明智
有趣的 Logistic 模型:从人口预测说起
Logistic 模型是 1938 年 Verhulst—Pearl 在修正非密度方程时提出来的,他认为在一定的环境中种群的增长总存在一个上限,当种群的数量逐渐向着上限上升时实际增长率就要逐渐地缩小,所以也被称为Verhulst—Pearl 方程。广义 Logistic 曲线可以模仿一些情况的人口增长(P)的 S 形曲线。起初阶段大致是指数增长;然后随着人口开始变得饱和,增加变慢;最后,达到成熟时增加停止,所以又叫 sigmoid 曲线(S 型曲线).

以人口预测为例推导 logistic 模型
人口预测对简单的模型无疑是指数增长模型。
我们设时刻 t 的人口总量为 th ,并将 th 看作连续、可微的函数。记初始时刻(t=0)的人口为 。规定人口的增长率为常数 r,即

提示:可以借助出生率相同的情况下,中日两国的人口基数、出生孩子数类比

令 h → ,则得到 th 满足如下的微分方程

如果我们求解这个微分方程,不难得到

为了读者不要看错,另外一种表示方式是

这是一个我们比较熟悉的指数增长的函数。当 r > 0 时,人口将按照指数规律无限制地增长,称为指数增长模型。
事实上,这个模型与欧洲 19 世纪以前的人口增长是很好地吻合的。它作为短期模型可以取得很好的效果,但是长期来看,任何地区的人口不可能无限制地增长。因为土地、水源等自然资源的供应和环境的承载能力是有限的,当人口增加到一定数量时,人口的增长就会慢下来,增长率会变小。为此,引入了下面的改进模型。
考虑资源、环境约束条件下的改进模型
对人口的阻滞体现在对 r 的影响上,表现为 r 随着人口数量x的增加而下降.我们不妨把人口的增长率 r 表示为关于人口数量x的函数 r(x),显而易见 tt 为减函数,于是(2)式可写为

设r(x) 是x的线性函数,即

此时 r 表示当人口数目比较少时(理论上设 x = )的增长率,就是假设此时的人口是不受自然资源等限制的固有增长率。我们要明确参数 s 的含义,可以引入最大人口环境容纳量,即我国在现在及未来国情下所能容纳的最大人口数量。则当时,人口达到最大,此时人口增长率为 0,即增长率从而得到,于是(4)式可改写为

将(5)代入(3)得如下的 Logistic 模型

由分离变量法得方程(6)的通解

利用初始条件得

把 c 代入通解并简化得

(7)式可简写为

其中
看到这样一个式子,是不是倍感亲切?在我们的机器学习相关教材上,介绍逻辑回归时(比如讲解 CTR 时)一上来就甩出下面的一个式子:

Logistic 模型的现实意义

人口预测模型的扩展:
事实上,人口预测问题所使用的 logistic 模型,可以用来描述包括人类在内几乎所有物种在
资源约束下的增长规律。
请看下面这段话:
*当一个物种迁入到一个新生态系统中后,其数量会发生变化。假设该物种的起始数量小于环境的最大容纳量,则数量会增长。该物种在此生态系统中有天敌、食物、空间等资源也不足(非理想环境),则增长函数满足逻辑斯谛方程,图像呈 S 形,此方程是描述在资源有
限的条件下种群增长规律的一个最佳数学模型。*

我们可以设想一下,假设我们承包了一个鱼塘,扔了数量比较少的鱼苗进去以后,这个鱼塘内鱼的条数的变化是不是也会满足 logistic 模型呢?(如果不考虑恶劣天气、疾病等意外因素影响)
其实,不光是物种数量的建模,很多社会、经济现象都可以借助于 Logistic 模型来解释。比如某互联网公司推出一款爆款产品以后,这个产品的用户数可能也会呈现类似的增长规律:刚开始时,由于产品反响非常好,用户呈指数级增长,当用户数到达一定的规模以后,由于抄袭者增多、竞争对手加大狙击力度、以及网民总数是有限的,这个产品的用户数的增长率会逐渐放缓。

逻辑回归的数学原理及推导
前面我们讲到的人口预测问题,其实是逻辑回归方法应用于解决回归问题。不过在实际的工业界使用时,逻辑回归更多用于解决分类问题,比如 CTR 预估,比如基于 LR 解决一个二分类问题,公司里几乎没有人用它来解决回归问题。这样就带来一个让很多初学者困惑的问题:
我们明明是拿“逻辑回归”来解决分类问题,但是它的名字上为啥非得带上“回归”二字呢,为什么不叫“逻辑分类(logistic classification)”呢?
No Why!没有原因,大家都这么叫,习惯就好

机器学习专业学习社区【机器学习之家】出品,QQ 交流群:342942219
机器学习专业学习社区【机器学习之家】出品,QQ 交流群:342942219
机器学习专业学习社区【机器学习之家】出品,QQ 交流群:342942219
看完还不过瘾?加入我们吧!