多分类神经网络：Softmax回归

       在机器学习中，我们会使用二分类算法的Many-vs-Many（多对多）和One-vs-Rest（一对多）模式来进行多分类。其中，OvR是指将多个标签类别中的一类作为类别1，其他所有类别作为类别0，分别建立多 个二分类模型，综合得出多分类结果的方法。MvM是指把好几个标签类作为1，剩下的几个标签类别作为0，同样分别建立多个二分类模型来得出多分类结果的方法。这两种方法非常有效，尤其是在逻辑回归 做多分类的问题上能够解决很多问题，但是在深度学习世界却完全不奏效。理由非常简单：

1. 逻辑回归是一个单层神经网络，计算非常快速，在使用OvR和MvM这样需要同时建立多个模型的方 法时，运算速度不会成为太大的问题。但真实使用的神经网络往往是一个庞大的算法，建立一个模 型就会耗费很多时间，因此必须建立很多个模型来求解的方法对神经网络来说就不够高效。

2. 我们有更好的方法来解决这个问题，那就是softmax回归。

                        

       我们从网络左侧输入特征，从右侧输出概率，且概率是通过线性回归的结果z外嵌套softmax函数来进行计算。在二分类时，输出层只有一个神经元，只输出样本对于正类别（通常是标签为1）的概率，而softmax的输出层的神经元的个数有多个。在所分类中，神经元的个数与标签类别的个数是一致的，如果是三分类，在输出层上就会存在十个神经元，分别输出十个不同的概率。此时，样本的预测标签就是所有输出的概率