27、核矩阵并行列子集选择与实时反卷积技术解析

核矩阵并行列子集选择与实时反卷积技术解析

1. 核矩阵并行列子集选择（PCSS）

在处理核支持向量机（Kernel SVM）时，传统的列子集选择（CSS）算法因至少具有二次时间复杂度，难以处理大规模数据。而并行列子集选择（PCSS）方法为解决这一问题提供了有效途径。

1.1 PCSS理论基础

结合相关结果可得：
[
\begin{align }
\lVert K - CC^{+}K\rVert_{F}^{2} &\leq \Delta^{2}\lVert K - K_{k}\rVert_{F}^{2}\
\lVert K - CC^{+}K\rVert_{F} &\leq \Delta\lVert K - K_{k}\rVert_{F}
\end{align }
]
从定理可知，只要基础CSS算法具有((1 + \epsilon))相对误差界，PCSS也会具有相同的相对误差界。在算法实现中，可将矩阵划分为多于(t)个子矩阵，但这可能会在提高速度的同时降低性能，因此子矩阵数量的选择需要在性能和速度之间进行平衡。

1.2 将PCSS引入Nyström方法和低秩线性化SVM

为使核SVM可扩展，将PCSS引入Nyström方法和低秩线性化SVM（LLSVM）作为采样方法。
- PCSS - Nyström算法 ：
- 输入：核矩阵(K \in R^{n\times n})，选定列的数量(l)和秩参数(k)。
- 输出：近似矩阵(\hat{K} {k})。