Week 11: 深度学习补遗：支持向量机

Week 11: 深度学习补遗：支持向量机

摘要

本周主要继续跟进李宏毅老师的进度，学习支持向量机相关的知识，研究其底层数学原理与数学推导。

Abstract

This week, we will continue to follow up on Mr. Hung-yi Lee’s progress, learning about support vector machines and studying their underlying mathematical principles and mathematical derivations.

1.Support Vector Machine 支持向量机

“Hinge Loss + Kernel Tree = Support Vector Machine”

对于一个基本的二元分类模型，可以描述如下：
$$\begin{gathered} Data: \\ \left[\begin{array}{ccccccc}{x}^1& & x^2& & x^3& & \dots \\ {\hat{y}}^1& & {\hat{y}}^2& & {\hat{y}}^3& & \dots \end{array}\right] \\ {\hat{y}}^n=+1,-1 \end{gathered}$$

• 1. 函数建模

$$g(x)=\{\begin{array}{r}f(x)>0Output=+1\\ f(x)<0Output=-1\end{array}$$

• 2. 损失函数

$$L(f)=\sum _n\delta (g(x^n)\ne {\hat{y}}^n)$$

因为损失函数不可微，因此这个模型无法用梯度下降法求解。所以，我们要考虑用一个可微的函数来替代这个理想的损失函数。
$$\begin{array}{rl}\text{Ideal Loss: }L(f)& =\sum _n\delta (g(x^n)\ne {\hat{y}}^n)\\ \text{Approximation: }L(f)& =\sum _{n}l(f(x^n),{\hat{y}}^n)\end{array}$$
比如，平方损失，即如果${\hat{y}}^n=1$，那么$f(x)$接近1；如果${\hat{y}}^n=-1$，$f(x)$接近负一，可以描述为$l(f(x^n),{\hat{y}}^n)=({\hat{y}}^{n}f(x^n)-1{)}^2$。简单来说，就是当${\hat{y}}^n=1$时，$l(f(x^n),{\hat{y}}^n)=(f(x^n)-1{)}^2$；当${\hat{y}}^n=-1$时，$l(f(x^n),{\hat{y}}^n)=(-f(x^n)-1{)}^2$。
$$\begin{array}{rl}\text{Square Loss: }l(f(x^n),{\hat{y}}^n)& =({\hat{y}}^{}\\ & \end{array}$$