机器学习入门（九）：逻辑回归——非线性逻辑函数的由来

逻辑回归

今天我们要讲的模型叫做 Logistic Regression （LR），一般翻译为逻辑回归。

LR 是一种简单、高效的常用分类模型——有点奇怪是吧，为什么名字叫做“回归”却是一个分类模型，这个我们稍后再讲。先来看看这个 LR 本身。

LR 的模型函数记作：y=h(x)，具体形式如下：

hθ(x)=11+e−θTx

对应到一元自变量的形式为：

h(x)=11+e−(a+bx)

设 z=a+bx，则：

h(z)=11+e−z

这样的一个函数被称为逻辑函数，它在二维坐标中的表现是这样的：

因为表现为 S 形曲线，所以逻辑函数又被称为 Sigmoid 函数（S 函数）。

Sigmoid 这样一个奇怪而别扭的形式到底是谁、因为什么想出来的呢？又怎么想到用它来做分类的呢？

罗马不是一天建成的，Sigmoid 函数也不是一天形成的。

说起来，逻辑回归的历史相当悠久，迄今大概已经有200年。它的前身，则在18世纪就已经出现了。

18世纪，随着工业革命的深入；世界经济、科技的发展；美洲的发现，以及随之而来的大移民和北美人口迅猛增长……各个学科对于统计学的工具性需求越来越强烈。

到了19世纪，为了研究人口增长以及化学催化反应与时间的关系，人们发明了逻辑函数。

指数增长

最初，学者们将人口（或者化合物）数量与时间的函数定义为 W(t) —— 其中自变量 t 表示时间， W(t) 表示人口/化合物数量。

W(t) 表示的是存量，则 W(t) 对 t 求微分的结果 W′(t) 就代表了人口/化合物的增长率。

因此增长率函数 W′(t)=dW(t)dt。

最简单的假设是：W′(t) 与 W(t) 成正比，也就是有：W′(t)=bW(t)。

我们知道指数函数 f(