logisitic和softmax函数

1，logistic函数

其实logistic函数也就是经常说的sigmoid函数，它的几何形状也就是一条sigmoid曲线。logistic函数的公式形式如下：

其中，x0表示了函数曲线的中心（sigmoid midpoint），k是曲线的坡度，表示f(x)在x0的导数。对应的几何形状：

logistic函数本身在众多领域中都有很多应用，我们只谈统计学和机器学习领域。logistic函数在统计学和机器学习领域应用最为广泛或者最为人熟知的肯定是logistic回归模型了。logistic回归（Logistic Regression，简称LR）作为一种对数线性模型（log-linear model）被广泛地应用于分类和回归场景中。此外，logistic函数也是神经网络最为常用的激活函数，即sigmoid函数。
logistic函数常用作二分类场景中，表示输入已知的情况下，输出为1的概率：

其中

为分类的决策边界。另一类的生成概率：

2，softmax函数

softmax函数是logistic函数的一般形式，本质是将一个K维的任意实数向量映射成K维的实数向量，其中向量中的每个元素取值都介于（0,1）之间，且所有元素的和为1。
softmax函数的表达式：

softmax函数经常用在神经网络的最后一层，作为输出层，进行多分类。公式如下：

softmax回归模型存在参数冗余，我们对（2）式中参数向量减去一个向量，输出为第j类的生成概率如下：

完全不影响假设函数的预测结果，表明softmax回归模型存在冗余的参数，模型最优化结果存在多个参数解。解决办法为对softmax回归模型的损失函数引入正则化项（惩罚项），就可以保证得到唯一的最优解。　softmax函数经常用在神经网络的最后一层，作为输出层，进行多分类。此外，softmax在增强学习领域内，softmax经常被用作将某个值转化为激活概率。

3，logistic函数和softmax函数的关系

（1）最优模型的学习方法
我们常用梯度下降算法来求模型损失函数的最优解，因为softmax回归是logistic回归的一般形式，因此最优模型的学习方法相同。
logistic回归的损失函数的偏导数：

参数更新表达式为：

同理，softmax回归参数的思想也大致相同，使得模型实际标记的第K类的生成概率接近于1。
（2）二分类情况
logistic回归针对的是二分类情况，而softmax解决的是多分类问题，若softmax回归处理的是二分类问题，则表达式如下：

利用softmax回归的参数冗余特点，化简上式可得：

上式可表示为：

与logistic二分类的表达式一致，因此，softmax回归与logistic回归的二分类算法相同 。
（3）多分类情况
logistic回归是二分类，通过“1对1（one vs one）“分类器和”1对其他（one vs the rest）“分类器转化为多分类。但是，这两种方法会产生无法分类的区域，该区域属于多个类，如下图：

logistic多分类的解决办法：若构建K类的分类器，通过创建K类判定函数来解决无法分类的问题。假定K类判定函数为：

对于输入样本x，有：

则样本属于第k类。
logistic多分类回归可通过设置与类数相同的判别函数来避免无法分类的情况。

softmax回归进行的多分类，输出的类别是互斥的，不存在无法分类的区域，一个输入只能被归为一类。Softmax模型可以用来给不同的对象分配概率。即使在之后，我们训练更加精细的模型时，最后一步也需要用softmax来分配概率。本质上其实是一种多种类型的线性分割，当类标签 textstyle y 取 2 时，就相当于是logistic回归模型。
交叉熵代价函数表达式：

其中，x表示样本，n表示样本的总数，a为预测值，y为真实值。
这种代价函数与普通的二次代价函数相比，当预测值与实际值的误差越大，那么参数调整的幅度就更大，达到更快收敛的效果。证明如下：

其中：

输出值与实际值之间的误差为：

所以，当误差越大，梯度就越大，参数w调整得越快，训练速度也就越快。同理可得，b的梯度为：

3，Softmax 回归 vs. k 个二元分类器

如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元分类器呢？

这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k = 4 的softmax回归。（如果在你的数据集中，有的歌曲不属于以上四类的其中任何一类，那么你可以添加一个“其他类”，并将类别数 k 设为5。）

如果你的四个类别如下：人声音乐、舞曲、影视原声、流行歌曲，那么这些类别之间并不是互斥的。例如：一首歌曲可以来源于影视原声，同时也包含人声 。这种情况下，使用4个二分类的 logistic 回归分类器更为合适。这样，对于每个新的音乐作品 ，我们的算法可以分别判断它是否属于各个类别。

现在我们来看一个计算视觉领域的例子，你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是：室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢？ (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片，你又会选择 softmax 回归还是多个 logistic 回归分类器呢？

在第一个例子中，三个类别是互斥的，因此更适于选择softmax回归分类器 。而在第二个例子中，建立三个独立的 logistic回归分类器更加合适。