INF 442 Amphi 8: Linear models for classification

0.Introduction

Prediction Error: $L:\mathcal{Y}\times \mathcal{Y}\to \mathbb{R}$
目的: $min{\mathbb{E}}_{(X,Y)}L(Y,f(X))$
实际上：$min\frac{1}{n}{\sum }_{i}L(Y_i,f(X_i))$

如果取0-1 Loss:
$$\begin{array}{rl}R(f)& ={\mathbb{E}}_{(X,Y)}{1}_{Y\ne f(X)}\\ & ={\mathbb{E}}_X{\mathbb{E}}_{(Y|X)}[1_{Y\ne f(X)}|X]\end{array}$$
此时最优的$f^{\ast }$满足：(即取x在使得$\mathbb{P}(Y=y|X=x)$最大的y)

KNN优缺点：

1. Linear methods for classification

• fibres (fiber)，某一个类别对应的X的区域。
• Linear Decision Boundaries，线性决策边界。

两种方法：

1. Model Posterior Probability，引入Discriminant Functions
2. Model the separating hyperplanes directly
   

1.1 Linear regression for classification

• ∀ y ∈ { 1 , . . . , κ } , δ y ( x ) : = [ 1 , x T ] β y , β y ∈ R d + 1 \forall y \in \{1,...,\kappa\}, \delta_y(x):=[1,x^T] \beta_y, \beta_y \in \mathbb{R}^{d+1} ∀y∈{1,...,κ},δy​(x):=[1,xT]βy​,βy​∈Rd+1
• $B:=[{\beta }_1,...,{\beta }_{\kappa }]\in {\mathbb{R}}^{(d+1)\times \kappa }$
  

将最后预测的目的用one-hot形式表示，然后用MSE损失。

缺点：

1. 决策边界是线性的，不如Bayes Classifier。
2. 中间的Class消失了。因为它的概率一直在其他类的下面，而我们最后取的预测结果是按照最大概率来算的。
3. 预测的结果有可能不在[0,1]中间。

1.2 Logistic Regression for binary classification

• ${\delta }_1(x):=\sigma ([1,x^T]{\beta }_1),{\beta }_1\in {\mathbb{R}}^{d+1}$
• $\mathbb{P}(Y=1|X=x)={\delta }_1(x)=\sigma ([1,x^T]{\beta }_1)$
• $\mathbb{P}(Y=2|X=x)=1-{\delta }_1(x)=\sigma (-[1,x^T]{\beta }_1)$
• Probability Ratio log-linear
  $$ln\frac{\mathbb{P}(Y=1|X=x)}{\mathbb{P}(Y=2|X=x)}=[1,x^T]{\beta }_1$$
• 🌟 我们可以通过它的linear decision boundary判断它依旧是一个Linear Model: ${\delta }_1(x)={\delta }_2(x)\to [1,x^T]{\beta }_1={\sigma }^{-1}(1/2)$
• 性质：
  • 值域为(0,1)，解决了之前预测结果越界的情况
  • ${\sigma }^{-1}(u)=ln(\frac{u}{1-u})$
  • $\sigma (t)+\sigma (-t)=1$
  • ${\sigma }^{\prime }(t)=\sigma (t)(1-\sigma (t))$

Model fitting by maximum likelihood


求解方法：Newton-Raphson

因为使用了牛顿求解法，所以要求一开始的值靠近目标值。

如果是Singular的情况（不能inverse），我们可以加上Regularization项。

1.3 Multi-class logistic regression

• 对于$\kappa$类，只有$\kappa -1$个$\beta$，因为还有一个概率总和为1的限制条件。
• 是对于之前Probability Ratio log-linear的推广：

2. Support Vector Machines (SVM)

见笔记

目的：找到使得Margin最大的Hyperplane
Hyperplane: $x^T\beta -{\beta }_0=0$
Parameters: $\beta \in {\mathbb{R}}^d\setminus 0,{\beta }_0\in \mathbb{R}$

• 大于0就预测为类别1，反之就预测为类别0。
• 当Classes are not linearly classifiable，引入Hinge Loss，得到Relaxed Optimization (Soft Margin)。[我们希望$\beta$越小越好]
• 使用Pbm Dual

2.2 Multi-class SVM

One-vs-all

• 训练一个判断是否为第k类的SVM，如果是第k类则位于$x^T{\hat{\beta }}^k+b$ 的上方(Label=1)，且越属于第k类，$x^T{\hat{\beta }}^k+b$ 的值越大。
• 因此，我们可以对每一个类别计算 x T β ^ y + b , y ∈ { 1 , . . κ } x^T\hat{\beta}^y+b, y \in \{1,..\kappa\} xTβ^​y+b,y∈{1,..κ}，最后选择使得分数最高的类别。

One-vs-one

• 对于任意两个类别$y,y^{\prime }$，训练一个Hyperplan$(w,b)={\hat{\beta }}^{y,y^{\prime }},{\hat{\beta }}_0^{y,y^{\prime }}$，以看这个数据点在$y,y^{\prime }$两者中更靠近哪一个类别，以进行两两区分。
• 最后对每一个pair使用Vote的形式，将x归入得票最多的类别。

2.3 Kernel SVM

• 通过核变换将数据映射到高维空间再分，同时通过引入kernel的方法避免了在高维计算inner product降低了复杂度。
• Representation Thm告诉我们此时问题的解可以写成Kernel的线性组合的形式。
• $f(x)=x^T\hat{\beta }+{\hat{\beta }}_0,\hat{\beta }={\sum }_{i=1}^n{\alpha }_i{y}_i\Phi (x_i)={\sum }_{i=1}^n{\alpha }_i{y}_{i}k(x_i,\cdot )$