硬间隔支持向量机(上)

---

1 立体几何

1.1 向量的定义与几何表示

        在数学中，我们把既有大小又有方向的量称为向量(矢量)，而把只有大小没有方向的量称为数量(标量)。由于数量可以用实数表示，而实数与数轴上的点一一对应，所以数量可以用数轴上的点表示，不同点表示不同数量。有向线段$\overrightarrow{AB}$的长度可以表示向量的大小，有向线段的方向可以表示向量的方向，因此向量可以用有向线段来直观表示。一般向量的大小称为向量的模，记作$|\overrightarrow{AB}|$。长度为0的向量称为零向量，长度为1的向量称为单位向量。

1.2 向量坐标与点坐标之间的关系

        在平面直角坐标系中，设与x轴、y轴方向相同的两个单位向量分别为$\vec{i}$，$\vec{j}$，则对平面内任意一个向量，由平面向量基本定理可知，有且只有一对实数$x$，$y$，使得
$$\vec{a}=x\vec{i}+y\vec{j}$$
这样，平面内的任意向量$\overrightarrow{a}$都可以用x，y唯一确定，我们把有序数对称为向量$\vec{a}$的坐标，记为
$$\vec{a}=（x，y）$$
        设$\overrightarrow{OA}=x\vec{i}+y\vec{j}$，其中O表示平面直角坐标系中的坐标原点，则向量$\overrightarrow{OA}$的坐标(x，y)就是终点A的坐标，反之，终点A的坐标就是向量$\overrightarrow{OA}$的坐标。这样就建立了向量坐标与点坐标之间的关系。

1.3 向量的模与方向

        假设向量${\vec{a}}^T=(x，y)$，则向量${\vec{a}}^T$的模为:
$$||{\vec{a}}^T||=\sqrt{x^2+y^2}$$
        ${\vec{a}}^T$的方向为：
$${\vec{z}}^T=(\frac{x}{||\vec{a}||}，\frac{y}{||\vec{a}||})$$

1.4 超平面定义

        在几何数学中，超平面是指n维空间中一个n−1维的子空间。通常用如下方程表达：
$$w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b={\vec{w}}^T\vec{x}+b=0$$
其中，${\vec{w}}^T=(w_1，w_2，\cdots ，w_n)$ 表示超平面的法向量，$b$ 表示超平面偏移量，${\vec{x}}^T=(x_1，x_2，\cdots ，x_n)$ 表示空间中的数据点。

1.5 点与超平面的关系

        点与超平面的关系有三种：点在超平面上，点在超平面正侧和点在超平面负侧。点与超平面的关系可以通过计算将点带入平面方程来确定，该值的符号可以表示点相对超平面的位置。

1. 点在超平面上：如果${\vec{w}}^T\vec{x}+b=0$，则点$\vec{x}$位于超平面上。
2. 点在超平面正侧：如果${\vec{w}}^T\vec{x}+b>0$，则点$\vec{x}$位于超平面法向量${\vec{w}}^T$指向的一侧。
3. 点在超平面负侧：如果${\vec{w}}^T\vec{x}+b<0$，则点$\vec{x}$位于超平面法向量${\vec{w}}^T$指向的反方向一侧。

        例 1.1 在平面直角坐标系中，假定一个 ${\vec{w}}^T=(0.625，1)$ 和 $b=-8.25$ 的超平面，即$0.625x+y-8.25=0$ 该超平面如图 1-1 所示。

图1-1 超平面分离数据

将点$(2，7)$代入直线方程，可得$0.625\times 2+7-8.25=0$，因此点在直线上。
将点$(7，9)$代入直线方程，可得$0.625\times 7+9-8.25=5.125>0$，因此点在直线正侧。
将点$(3，3)$代入直线方程，可得$0.625\times 3+3-8.25=-3.375<0$，因此点在直线负侧。

2 最优化问题

2.1 凸集定义

        如果 $\forall x_1，x_2\in A\subset {\mathbb{R}}^n$，并对任意的 $\theta \in [0,1]$，都有
$$\theta x_1+(1-\theta )x_2\in A$$
则称集合 $A$ 是凸集。

2.2 凸函数定义

        设一个 $n$ 元实函数 $f(x)$，$x\in A\subset {\mathbb{R}}^n$，$A$ 是非空凸集，如果 $\forall x_1，x_2\in A$，并对任意的 $\theta \in [0,1]$，有
f ( θ x 1 + ( 1 − θ x 2 ) ) ≤ θ f ( x 1 ) + ( 1 − θ ) f ( x 2 ) f(\theta{\pmb{x}_1}+(1-\theta{\pmb{x}_2})) \leq \theta{f(\pmb{x}_1)} + (1-\theta){f(\pmb{x}_2)} f(θx