ESL第十二章 SVM和灵活判别方法 核函数/平方合页损失/Huber损失/RKHS/加性光滑样条/路径算法/结构风险最小化、最优得分/灵活判别分析/典型向量/典型相关、惩罚判别分析、混合判别分析

12.1 导言

• P417 两类方法：SVM的非线性边界；LDA扩展成灵活判别分析flexible discriminant analysis。此外还有惩罚判别分析penalized discriminant analysis，用于处理含大量相关特征的信号和图像数据分类，以及无规则类别的混合判别分析mixture discriminant analysis

12.2 支持向量分类器

• P418 间隔margin
• P419 SVM软区间有两种松弛方法
  
  或
  
  其中$M$是实际间隔，这里第一种非凸
• P419 SVM中$\sum {\xi }_i⩽K$表示最多分错$K$个点，注意分错需要$\xi >1$

12.2.1 计算支持向量分类器

• P420 等价形式
  
• P421 支持向量support vectors，这一页写了SVM基本原理
• P421 $\alpha ,\xi$的取值和对应点和间隔关系，PRML也有讲（有一个问题是点恰好在边缘上，是否是一个有测度的事件？根据P433的图好像是的。因为当从边缘进入间隔时，会增大$\xi$，这有一个目标函数导数的突变，如果这个增大不值得，那么就会把这个点保持在边缘上）

12.2.2 混合例子

• P421 $C$越大，margin越窄
• P421 最优$C$可通过交叉验证却低估，注意留一交叉验证中，如果去掉的掉不是支持向量，那么解不会变。所以那些在原始边界分对很对的点，在交叉验证中也能分对。但是边界内的点往往不少，一般不适用于选$C$

12.3 支持向量机和核

12.3.1 用于分类的SVM

• P424 常见核函数，$d$阶多项式、径向基、神经网络
• P424 大$C$易以制任何正的松弛$\xi$，造成过拟合的弯曲边界；小$C$会估计较小$\Vert \beta \Vert$，导致$f$更光滑
• P424 在支持向量的早期研究中，有断言称，支持向量机的核性质是唯一的，并且允许对维数灾难进行巧妙地处理．这些断言都不是正确的（不懂，不知道在说啥。。）

12.3.2 SVM作为惩罚方法

• P426 SVM的“损失loss+惩罚penalty”形式，当$\lambda =1/C$时，与前述问题12.8同解
  
• P427 平方合页损失squared hinge loss $L(y,f)=[1-yf{]}_{+}^2$
• P427 Huberized平方合页损失“huberised” square hinge loss既有SVM支持向量的好处，也有逻辑回归中光滑损失函数核估计概率值得好处
• P427 各loss进行比较
• P428 如果基$h(x)$表示层次基hierarchical basis，有一定顺序，例如粗糙程度，如果更粗糙的元素$h_j$有更小的范数，那么均匀收缩更有意义（不懂，不知道在说啥，这里层次基是指小波那种吗）
• P428 除了平方误差，表12.1中所有的损失函数，都称为 “margin maximizing loss-functions”（rosset et al., 2004b)，即如果数据可分，则当$\lambda \to 0$时，${\hat{\beta }}_{\lambda }$得极限为最优分离超平面

12.3.3 函数估计和再生核

• P428 本节用再生核希尔伯特空间reproducing kernel Hilbert spaces中的函数估计来描述SVM
  核函数一定能特征展开eigen-expansion成如下形式
  
  记 h m ( x ) = δ m ϕ m ( x ) h_m(x)=\sqrt {\delta_m} \phi_m(x) hm​(x)=δm​ ​ϕ