23、基于变换器的学习器与可满足性模理论的模型学习

基于变换器的学习器与可满足性模理论的模型学习

在机器学习和自动机理论领域，学习器的设计和模型学习算法是重要的研究方向。本文将介绍基于变换器的学习器的相关特性，以及利用可满足性模理论（SMT）进行模型学习的方法。

基于变换器的学习器的内存限制

对于基于变换器的学习器，有以下重要结论：
- 长度不超过 n 的二进制单词语言类（可能除了一个），可以由具有指数目标大小内存的变换器学习器学习。
- 对于所有 $L_w = {v \in \Sigma^ : \varepsilon < {ll} v \leq {ll} w}$（其中 $w \neq \varepsilon$）和 $L_{\varepsilon} = \Sigma^ $ 组成的类，不能用任何类型的目标大小内存进行学习。

如果一个自动类可以从文本中进行解释性学习，那么存在一个变换器学习器，它可以用 $O(cn)$ 大小的内存来学习该类，其中 $c$ 是仅依赖于该类的常数，$n$ 是到目前为止看到的最长数据的大小。

可学习的变换器类的空间界限

• 集合驱动的递归学习器 ：一个学习器 $M$ 是集合驱动的，如果对于所有序列 $\sigma$ 和 $\tau$，当 $content(\sigma)$ 等于 $content(\tau)$ 时，$M$ 在看到 $\sigma$ 或 $\tau$ 后的内存和假设是相同的。每个可学习的变换器族都可以由一个集合驱动的递归学习器学习，并且这个学习器可以从该族的变换器学习器统一获得。
• 证据集