47、机器学习中的线性问题与核函数分析

机器学习中的线性问题与核函数分析

1. 线性问题求解

1.1 特定矩阵方程求解

当给定 $\hat{X} = \begin{bmatrix} x_1 \ x_2 \ 1 \ 2 \end{bmatrix}$ 和 $y = \begin{bmatrix} +1 \ -1 \end{bmatrix}$ 时，通过矩阵运算 $\begin{bmatrix} x_1^2 + x_2^2 & x_1 + x_2 \ x_1 + x_2 & 2 \end{bmatrix} \cdot \begin{bmatrix} w \ b \end{bmatrix} = \begin{bmatrix} x_1 - x_2 \ 0 \end{bmatrix}$，可解得 $w = \frac{2}{x_1 - x_2}$，$b = \frac{x_2^2 - x_1^2}{(x_1 - x_2)^2}$。特别地，当 $x_1 = -1$ 且 $x_2 = -1$ 时，$w = -1$，$b = 0$，此时 $f(x) = -x$ 能很好地拟合数据。

1.2 分离超平面求解

从正规方程出发，可得到一系列关于分离超平面的结果。如通过 $\begin{bmatrix} \hat{x}_i & \hat{x}_j \end{bmatrix} \begin{bmatrix} \hat{x}_i’ \ \hat{x}_j’ \end{bmatrix} (\alpha \hat{x}_i + \beta \hat{x}_j) = \begin{bmatrix} \hat{x}_i & \hat{x}_j \end{bmatrix} \begin{bmatrix}