分类-2-softmax

softmax是一个可以解决多分类问题的方法。
$假如我们的输出y\in\{1,2,...,k\}$，即共有k个类别，而不是之前的二分类问题。
此时我们使用$\phi_1,...,\phi_k$来表示输出，即样本属于每个类别的概率。显然对于任意的一个样本有$\phi_1+...+\phi_k=1$，故$\phi_k$可由其他$\phi表示$。这样我们只需要k-1个$\phi$。
定义T(y)如下：

$我们用(T(y))_i表示T(y)中的第i个元素；用I\{something\}表示某个事件的真假，例如I\{true\}=1,I\{false\}=0,I\{2=3\}=0$。
因此可以得到：$(T(y))_i=I\{y=i\}以及E[(T(y))_i]=P(y=i)=\phi_i.$
注：训练过程中样本的类别是已知的，即在T(y)中必然只有一个元素为1，其余全部是0.
因此可得：

显然$\eta_i=\log\frac{\phi_i}{\phi_k}$,为了方便我们定义$\eta_k=\log(\frac{\phi_k}{\phi_k})=0$。
显然我们可以得到：

进而得到$\phi_k=\frac{1}{\sum^k_{i=1}}e^{\eta_i},将它带入到上面的\phi_ke^{\eta_i}=\phi_i中可得：\phi_i=\frac{e^{\eta_i}}{\sum^k_{j=1}e^{\eta_j}}$，这里用到了$\eta_i=\theta_i^Tx(i=1,...,k-1)$。
因此：

这样就可以得到$h_\theta(x)$:

为了确定参数$\theta$我们类似之前的处理，求最大似然值：
由：

知：我们可以通过梯度上升或者牛顿迭代求解啦。