36、语言学习中的线性可分性与核计算

语言学习中的线性可分性与核计算

1. 高效核计算

1.1 子序列核定义

子序列特征映射 $\varphi$ 相关的正定对称核 $K$ 定义如下：
对于任意 $x, y \in \Sigma^ $，有 $K(x, y) = \langle\varphi(x), \varphi(y)\rangle = \sum_{u\in\Sigma^ } [[u \sqsubseteq x]] [[u \sqsubseteq y]]$，其中 $[[P]]$ 表示谓词 $P$ 的 0 - 1 真值。这意味着 $K(x, y)$ 计算了 $x$ 和 $y$ 共有的不同子序列的数量。

例如，$K(abc, acbc) = 8$，因为 $abc$ 和 $acbc$ 的共有子序列集合 ${\epsilon, a, b, c, ab, ac, bc, abc}$ 的基数为 8。而 Lodhi 等人定义的核（无惩罚因子）会给 $(abc, acbc)$ 这对字符串赋予值 9，因为他们计算的是共有子序列的出现次数。

1.2 核计算复杂度

一个包含 $n$ 个不同符号的字符串至少有 $2^n$ 种可能的子序列，所以基于枚举 $x$ 和 $y$ 的子序列来简单计算 $K(x, y)$ 效率很低。不过，可以使用 Derryberry 提出的方法在二次时间 $O(|\Sigma||x||y|)$ 内计算 $K(x, y)$，该方法与 Lodhi 等人的方法有些相似。

1.3 相关辅助定义

• 对于任意符号 $a \in \Sigma$ 和字符串 $u \in \Sigma^*$，定义 $l