(三)Softmax的原理及代码实现

Softmax

本系列重点在浅显易懂，快速上手。不进行过多的理论讲解：也就是不去深究what，而是关注how。全文围绕以下三个问题展开：

1）长什么样？

2）解决什么问题？

3）怎么实现？

​ 3.1）从数学讲，原理

​ 3.2）从代码上讲，如何掉包实现

长什么样

上节讲了逻辑回归实现2分类，那么多分类的问题，就要通过softmax来实现，在此之前回忆“线性回归”和“逻辑回归”

1）线性回归建模，用于预测y是连续值的问题，值域的范围是(-∞,+∞)最终的目的就是为了找到一组$${\theta }_1,{\theta }_2,...,{\theta }_{13},{\theta }_0$$（除了系数，还包含一个常数项$${\theta }_0$$,使得下式成立。

$${\theta }_1\ast x_1+{\theta }_2\ast x_2+......+{\theta }_k\ast x_k+{\theta }_0=y$$

2)逻辑回归建模，用于解决二分类问题，y值代表的是取1的概率。值域的范围是[0,1]最终的目的就是为了找到一组$${\theta }_1,{\theta }_2,{\theta }_3,{\theta }_4,{\theta }_0$$（除了4个系数，还包含一个常数项$${\theta }_0$$）,使得下式成立。
$$\frac{1}{1+e^{-({\theta }_1\ast x_1+{\theta }_2\ast x_2+{\theta }_3\ast x_3+{\theta }_k\ast x_k+{\theta }_0)}}=\frac{1}{1+e^{-{\theta }^{T}x}}=y$$

3)softmax模型，用于解决多分类问题，假如要解决3分类问题。模型的输出应该是什么形式的? 假如还是按逻辑回归的方式，输出一个[0,1]之间的值，那这个值应该代表取到类别1，类别2，类别的概率？所以，应该同时输出3个值，$$y_1,y_2,y_3$$，再配个分母，即：
$$\begin{gathered} \left[ \\ \frac{y_1}{y_1+y_2+y_3}, \\ \frac{y_2}{y_1+y_2+y_3}, \\ \frac{y_3}{y_1+y_2+y_3} \\ \right] \end{gathered}$$

分别代表是类别1，类别2，类别3的概率，加起来为1。具体的函数解析式，应该是如下形式：

$$\begin{gathered} {\theta }_{1\_1}\ast x_1+{\theta }_{1\_2}\ast x_2+......+{\theta }_{1\_n}\ast x_n+{\theta }_{1\_0}=y_1 \\ {\theta }_{2\_1}\ast x_1+{\theta }_{2\_2}\ast x_2 \end{gathered}$$