多分类器-----Multiclass classification

之前讲过线性分类器可以解决二分类的问题。
那么对于多分类问题该如何解决呢？

一种思想是我们可以把多分类问题转化成多个二分类问题。也就是拿出一个类别与其他所有类别进行比较。比如上图我们可以把方块作为正类其他的作为父类进行判别。

通过多个分类器我们就可以划分出多个类了。那么这种思想还不完善，存在什么问题呢？
对于某一些区域的点来说多个分类器都抢着说这是我的类，对于有的区域大家又都说不是我的类，那这又怎么去区分呢？

比如说对于上图的中心区域。那么我们这里使用softy分类器，也就是不直接指明属于哪个类而是预测一个概率，类似logistic分类器。我们说某一个点属于方块的概率是多少，属于菱形的概率是多少等等。这样我们就可以选择预测结果最大的那个类别了。

这就是one-versus-all(OVA)方法。那这种方法的好处就是速度快效率高，训练k个分类器就好了，缺点就是数据的不平衡（unb