机器学习之十二：softmax回归

1、Softmax模型
    Softmax回归和逻辑回归的回归模型很类似，为如下条件概率：

$$P(Y=k|x_i;w_k)=\frac{\exp(w_k\cdot x_i)}{\sum_{k=1}^K\exp(w_k\cdot x_i)}\quad$$
其中 $x\in R^{n+1}$， $w_k\in R^{n+1}$， $k=1,2,3...,K$，表示有K个类别。
    对于给定的测试输入 $x_i$，我们想用条件概率针对每一个类别 $k$估算出概率值 $P(Y=k | x_i)$。也就是说，我们想估计 $x_i$ 的每一种分类结果出现的概率。因此，我们的条件概率函数将要输出一个 $K$维的向量（向量元素的和为1）来表示这 $K$ 个估计的概率值。 具体地说，我们的条件概率函数 $P_w(x_i)$如下：

Pw(xi)=⎡⎣⎢⎢⎢⎢