机器学习基石 之 多分类（Multi-Classification）

多分类（Multi-Classification）

One-Versus-All (OVA) Decomposition

以逻辑回归为例，其思路是将其中一类和剩下的类分开，做二分类，并对全部类做次操作，这样便有了K个逻辑回归分类器，只要取其中概率最大hypothesis所对应的分类作为分类结果即可。

• for $k\in \mathcal{Y}$ , obtain ${\mathbf{w}}_{[k]}$ by running logistic regression on
  D[k]={(xn,yn′=2[[yn=k]]−1)}n=1N \mathcal { D } _ { [ k ] } = \left\{ \left( \mathbf { x } _ { n } , y _ { n } ^ { \prime } = 2 \left[\kern-0.15em\left[ y _ { n } = k \right]\kern-0.15em\right] - 1 \right) \right\} _ { n = 1 } ^ { N } D[k]​={(xn​,yn′​=2[[yn​=k]]−1)}n=1N​

• return $g(\mathbf{x})={\mathrm{argmax}}_{k\in \mathcal{Y}}\left({\mathbf{w}}_{[k]}^T\mathbf{x}\right)$

其优缺点是：

• pros: efficient ，can be coupled with any logistic regression-like approaches
  效率高，可以和类似逻辑回归的算法（输出概率的算法）结合
• cons: often unbalanced D[k] when K large
  如果K太大会导致数据不平衡

One-Versus-One (OVO) Decomposition

其基本思路是将其中一类和剩下的类中的一类做二分类，然对全部分类器执行该操作（组合数就是分类器数），那么

• for $(k,\ell )\in \mathcal{Y}\times \mathcal{Y}$ , obtain ${\mathbf{w}}_{[k,l]}$ by running logistic regression on

D[k,ℓ]={(xn,yn′=2[[yn=k]]−1):yn=k or yn=ℓ} \mathcal { D } _ { [ k , \ell ] } = \left\{ \left( \mathbf { x } _ { n } , y _ { n } ^ { \prime } = 2 \left[\kern-0.15em\left[ y _ { n } = k \right]\kern-0.15em\right] - 1 \right) : y _ { n } = k \text { or } y _ { n } = \ell \right\} D[k,ℓ]​={(xn​,yn′​=2[[yn​=k]]−1):yn​=k or yn​=ℓ}

• return $g(\mathbf{x})=\text{ tournament champion }\left\{{\mathbf{w}}_{[k,\ell ]}^T\mathbf{x}\right\}$

其优缺点是：

• pros: efficient (‘smaller’ training problems), stable, can be coupled with any binary classification approaches
  更有效率更加稳定，可以结合任何二分类方法
• cons: use $O(K^2){\mathbf{w}}_{[k,l]}$，more space, slower prediction, more training。
  需要训练$O(K^2)$ 个 $,{\mathbf{w}}_{[k,l]}$，占用更多的时间和空间。