逻辑泛化性解析
1. 泛化性的基本概念
1.1 定义
一个假设比另一个假设更具泛化性,当且仅当它涵盖了后者所涵盖的所有实例。前者被称为后者的泛化,后者则是前者的特化。当使用逻辑公式作为假设时,泛化关系与逻辑蕴含的概念相契合,这意味着可以从逻辑的角度来分析泛化关系。
1.2 动机与背景
符号机器学习方法通常通过搜索假设空间来进行学习。假设空间可以通过泛化关系进行(部分)排序,这为定义遍历空间的算子以及修剪搜索空间中没有希望的部分提供了基础。这通常通过使用细化算子(即泛化和特化算子)来实现。由于许多学习方法采用的假设语言是逻辑的或可以用逻辑重新表述,因此从逻辑的角度分析泛化关系是很有意义的。
1.3 理论基础
假设 g 比假设 s 更具泛化性,当且仅当 g 涵盖了 s 所涵盖的所有实例,即 covers(s) ⊆ covers(g),其中 covers(h) 表示假设 h 所涵盖的所有实例的集合。在逻辑中,有几种可能的方式来表示假设和实例,每种方式都对应着不同的设置和涵盖关系,常见的设置包括从蕴含学习、从解释学习和从证明学习。
2. 从蕴含学习
2.1 定义与示例
在从蕴含学习中,假设和实例都是逻辑公式,通常是确定子句,这是 Prolog 编程语言的基础。当从蕴含学习时,假设 h 涵盖实例 e 当且仅当 h 逻辑蕴含 e,即 h ⊨ e,或者等价地,e 是 h 的逻辑结果。
例如,考虑假设 h:
flies :- bird, normal.
bird :- blackbird.
bird :- ostrich.
第一个子句可以理解为:如果是正常的鸟,那么会飞。第二个和第三个子句表明黑鸟和鸵鸟是鸟。
再看实例 e1:
flies :- blackbird, normal, small.
以及实例 e2:
flies :- ostrich, small.
实例 e1 被 h 涵盖,因为它是 h 的逻辑结果,即 h ⊨ e1;而实例 e2 不被 h 涵盖,记为 h ⊭ e2。
2.2 泛化性与逻辑蕴含的关系
当从蕴含学习时,有如下性质:假设 g 比假设 s 更具泛化性,当且仅当 g 逻辑蕴含 s,即 g ⊨ s。
例如,考虑假设 h1:
flies :- blackbird, normal.
由于 h ⊨ h1,所以 h 涵盖了 h1 所涵盖的所有实例,因此 h 是 h1 的泛化。
3. 从解释学习
3.1 定义与示例
在从解释学习中,假设是逻辑公式,通常是确定子句的集合,而实例是解释。对于命题理论,解释是对命题变量的真值赋值。
例如,继续使用上述的飞行示例,两个解释可以是:
{blackbird, bird, normal, flies}
{ostrich, small}
这里通过指定为真的命题变量集合来表示解释。一个解释指定了一种可能的世界。假设 h 涵盖一个解释当且仅当该解释是 h 的模型,即该解释满足 h 中的所有子句。
在上述示例中,第一个解释是理论 h 的模型,而第二个不是。因为规则
bird :- ostrich.
的条件部分在第二个解释中得到满足(因为包含
ostrich
),但结论部分
bird
不在该解释中,所以它不是 h 的模型。
3.2 泛化性与逻辑蕴含的关系
当从解释学习时,假设 g 比假设 s 更具泛化性,当且仅当对于所有实例 e:(e 是 s 的模型) → (e 是 g 的模型),当且仅当 s ⊨ g。由于从蕴含学习的设置比从解释学习的设置更流行,通常采用的约定是:一个假设 g 比假设 s 更具泛化性,当且仅当 g ⊨ s。
4. 操作视角
4.1 演绎推理规则与特化
传统的演绎推理规则从一组公式开始,推导出一个被原始集合所蕴含的公式。例如,命题确定子句的消解推理规则:
h ← g, a1, ..., an; 和 g ← b1, ..., bm
h ← b1, ..., bm, a1, ..., an;
这个推理规则从上面的两条规则推导出下面的所谓消解式。另一个演绎推理规则是向规则添加条件:
h ← a1, ..., an
h ← a, a1, ..., an;
一般来说,演绎推理规则可以写成:
g
s
如果 s 可以从 g 推导出来,并且该算子是可靠的,那么 g ⊨ s。因此,应用演绎推理规则实现了特化,演绎推理规则可以用作特化算子。特化算子将一个假设映射到其特化的集合。
4.2 归纳推理规则与泛化
由于特化是泛化的逆过程,泛化算子(将一个假设映射到其泛化的集合)可以通过反转演绎推理规则来获得。反转格式为 (3) 的演绎推理规则是从下往上进行,即从 s 到 g。这种反转的演绎推理规则被称为归纳推理规则,这导致了归纳是演绎的逆过程的观点。
例如,反转添加条件规则 (2) 得到的泛化算子对应于著名的“删除条件”规则。
4.3 推理规则的性质
在部署推理规则之前,需要确定它们的性质,两个理想的性质是可靠性和完备性。
可靠性:一组推理规则 r 是可靠的,当且仅当 g ⊢r s 意味着 g ⊨ s。
完备性:一组推理规则 r 是完备的,当且仅当 g ⊨ s 意味着 g ⊢r s。
在实践中,可靠性总是被强制执行,但在机器学习设置中,完备性并不总是必需的。当使用不完备的规则时,应该意识到泛化关系 “⊢r” 比逻辑关系 “⊨” 更弱。
5. 泛化性的逻辑框架
5.1 命题包含关系
许多命题学习系统采用由规则组成的假设,通常是确定子句。命题包含关系定义了子句之间的泛化关系,它通过添加条件规则来定义。
命题包含关系诱导了可能子句空间上的一个完备格。一个完备格是一个偏序(自反、反对称和传递的关系),其中任意两个元素都有唯一的最小上界和最大下界。
例如,对于定义谓词
flies
关于
bird
、
normal
和
small
的规则的哈斯图如下:
graph TD;
A[flies.] --> B[flies :- normal.];
A --> C[flies :- small.];
B --> D[flies :- bird, normal.];
C --> D;
B --> E[flies :- small, normal.];
C --> E;
D --> F[flies :- bird, normal, small.];
E --> F;
A --> G[flies :- bird.];
G --> D;
G --> H[flies :- bird, small.];
H --> F;
泛化算子 φg 将一个子句映射到其在图中的父节点集合,特化算子 φs 将一个子句映射到其在图中的子节点集合。在文献中,它们通常被明确定义:
φg(h ← a1, ... an) = {h ← a1, ... ai-1, ai+1, ..., an | i = 1, ..., n}
此外,一些系统如 Golem 通过计算两个公式的最小上界来利用底层格的性质。最小上界算子在机器学习文献中被称为最小泛化(lgg),它返回哈斯图中的最小公共祖先。使用子句的集合表示,lgg 的定义为:
lgg(c1, c2) = c1 ∩ c2
5.2 θ - 包含关系
θ - 包含关系是归纳逻辑编程中最流行的泛化框架,它为子句逻辑提供了泛化关系,并将命题包含关系扩展到一阶逻辑。
一个确定子句的形式为 h ← a1, …, an,其中 h 和 ai 是逻辑原子。原子的形式为 p(t1, …, tm),其中 p 是谓词名,ti 是项。项可以是常量、变量或结构化项。
θ - 包含关系不仅基于添加条件规则,还基于替换规则:
g
gθ
替换规则将替换 θ 应用于确定子句 g。替换 {V1=t1, …, Vn=tn} 是将项分配给变量。将替换应用于子句 c 得到实例化的子句,其中所有变量同时被其对应的项替换。
θ - 包含关系是由替换和添加条件规则诱导的泛化关系,定义为:g θ - 包含 s 当且仅当 g ⊢t s,当且仅当 ∃θ : gθ ⊆ s。
例如,
likes(X,Y) :- neighbours(X,Y).
子句通过替换 {Y/tom} 包含
likes(X,tom) :- neighbours(X,tom), male(X).
子句。
θ - 包含关系具有以下性质:
- 可靠性:θ - 包含关系是可靠的。
- 完备性:对于非自递归子句,θ - 包含关系是完备的;对于自递归子句,它是不完备的。
- 复杂性:判断 θ - 包含关系是一个 NP 完全问题。
由于 θ - 包含关系相对简单且可判定,而单个子句之间的逻辑蕴含是不可判定的,因此它被大多数归纳逻辑编程系统用作泛化关系。这些系统通常采用特化或细化算子来遍历搜索空间。为了保证搜索空间的系统枚举,可以使用特化算子 φs。
φs(c) 通过应用添加条件或替换规则得到,但有以下限制:
- 添加条件规则只添加形式为 p(V1, …, Vn) 的原子,其中 Vi 是子句 c 中尚未出现的变量。
- 替换规则只使用基本替换,形式为:
- {X / Y},其中 X 和 Y 是子句 c 中出现的两个变量。
- {V / ct},其中 V 是子句 c 中的变量,ct 是常量。
- {V / f(V1, …, Vn)},其中 V 是子句 c 中的变量,f 是 n 元函子,Vi 是子句 c 中尚未出现的变量。
通过反转 φs 可以得到泛化算子,但反转替换并不容易。
θ - 包含关系是自反和传递的,但不幸的是它不是反对称的,这使得搜索过程变得复杂。朴素地应用特化算子 φs 可能会产生逻辑上等价的语法特化,这会导致生成无用的子句,并且如果对结果子句进一步细化,可能会导致搜索陷入无限循环。
Plotkin 研究了由 θ - 包含关系诱导的商集,并证明了各种有趣的性质。商集由在 θ - 包含关系下等价的子句类组成。每个等价类都有一个代表,即所谓的约简子句,它是等价类中最短的子句,在变量重命名的情况下是唯一的。商集形成一个完备格,这意味着两个等价类有最小泛化。
θ - 包含关系有几种变体,其中一种重要的变体是 OI - 包含关系,它对于无函子的子句修改了替换规则,不允许统一两个变量或用子句中已经出现的常量替换变量。其优点是得到的关系是反对称的,避免了一些细化算子的问题,但两个子句的最小泛化不一定是唯一的,因此不存在最小泛化算子。
5.3 逆消解
应用消解是一种可靠的演绎推理规则,因此实现了特化。反转消解规则可以得到归纳推理规则或泛化算子。这通常通过将消解原理与复制算子结合来实现,得到的规则称为吸收 (12) 和识别 (13):
吸收规则:
h ← g, a1, ..., an; 和 g ← b1, ..., bm
h ← b1, ..., bm, a1, ..., an; 和 g ← b1, ..., bm;
识别规则:
h ← g, a1, ..., an; 和 g ← b1, ..., bm
h ← b1, ..., bm, a1, ..., an; 和 h ← g, a1, ..., an;
其他有趣的逆消解算子可以进行谓词发明,即引入原始数据中尚未存在的新谓词。例如,内部构造算子 (14):
q ← l1, ..., lk; 和 p ← k1, ..., kn, q 和 q ← l'1, ..., l'm
p ← k1, ..., kn, l1, ..., lk 和 q ← k1, ..., kn, l'1, ..., l'm;
反转消解算子的想法很有吸引力,因为它旨在反转最流行的演绎推理算子,但由于不确定性和需要反转替换,它也相当复杂。由于这些复杂性,只有少数系统采用逆消解算子。
6. 背景知识的影响
6.1 背景知识的作用
归纳逻辑编程系统在学习过程中使用背景知识。背景知识通常采用一组子句 B 的形式,然后被涵盖关系使用。当在背景知识 B 的存在下从蕴含学习时,实例 e 被假设 h 涵盖当且仅当 B ∪ h ⊨ e。
6.2 相对泛化性框架
背景知识的纳入导致了相对于背景理论的泛化性框架。更正式地说,假设 g 相对于背景理论 B 比假设 s 更具泛化性,当且仅当 B ∪ g ⊨ s。
只有基于(逆)消解的推理规则处理多个子句,其他框架可以根据泛化性的逻辑理论扩展以处理这种泛化关系。沿着这些思路已经开发了各种框架,其中一些重要的框架包括相对包含关系(Plotkin 1971)和广义包含关系(Buntine 1998),它们将 θ - 包含关系和最小泛化的概念扩展到使用背景知识。
计算相对于背景理论的两个子句的最小泛化是通过首先计算相对于背景理论涵盖实例的最具体子句,然后使用 θ - 包含关系的最小泛化算子对它们进行泛化来实现的。
6.3 底子句的计算
第一步是最有趣的,它在饱和(Rouveirol 1994)和底子句(Muggleton 1995)的名称下被解决。在逆蕴含框架中,子句 c 相对于背景理论 B 的底子句 φ(c) 是最具体的子句 φ(c),使得 B ∪ φ(c) ⊨ c。
例如,如果 B 由以下子句组成:
polygon :- rectangle.
rectangle :- square.
oval :- circle.
实例 c 是:
positive :- red, square.
那么底子句 φ(c) 是:
positive :- red, rectangle, square, polygon.
底子句很有用,因为它只列出了与实例相关的原子,并且只有 φ(c) 的泛化(在 θ - 包含关系下)才会涵盖该实例。一旦找到涵盖实例的底子句,搜索过程就可以像没有背景知识一样继续进行。可以使用特化算子(通常在 θ - 包含关系下)搜索比 φ(c) 更泛化的子句空间,或者计算多个底子句的最小泛化。
底子句的计算可以通过找到 B ∪ ¬c 的所有事实结果,然后再次反转得到的子句来解释。在处理一阶逻辑时,底子句可能会变得无限大,因此通常会对底子句中出现的原子施加进一步的限制,这些限制是语言偏置的一部分。
7. 不同泛化框架的比较
7.1 泛化能力对比
| 框架名称 | 泛化能力特点 | 适用场景 |
|---|---|---|
| 命题包含关系 | 适用于命题学习系统,基于添加条件规则定义子句间泛化关系,诱导出完备格。泛化能力相对局限于命题层面。 | 处理简单的命题逻辑问题,假设空间为命题子句的情况。 |
| θ - 包含关系 | 将命题包含关系扩展到一阶逻辑,考虑了替换规则,泛化能力更强,但存在非反对称性问题。 | 处理一阶逻辑的归纳逻辑编程问题,是大多数此类系统采用的泛化关系。 |
| 逆消解 | 可进行谓词发明,能引入新谓词,泛化能力较强,但因不确定性和替换反转问题较复杂。 | 需要引入新谓词,对复杂逻辑进行泛化的场景,但不适合对效率要求高的情况。 |
7.2 复杂度分析
不同泛化框架在复杂度上也有差异,具体如下:
-
命题包含关系
:由于其基于简单的添加条件规则,且在命题层面操作,其复杂度相对较低,主要用于简单的命题逻辑推理和泛化。
-
θ - 包含关系
:判断 θ - 包含关系是一个 NP 完全问题,这意味着在处理大规模问题时,计算量会显著增加。但它在一阶逻辑的泛化中具有重要作用。
-
逆消解
:由于需要处理不确定性和反转替换,其复杂度较高,实际应用中只有少数系统采用。
7.3 搜索空间特性
不同框架对搜索空间的影响也不同,以下是一个简单的 mermaid 流程图展示:
graph LR;
A[命题包含关系] --> B(搜索空间为命题子句格);
C[θ - 包含关系] --> D(搜索空间复杂,存在等价子句问题);
E[逆消解] --> F(搜索空间复杂,处理新谓词引入);
命题包含关系的搜索空间是一个完备格,结构相对清晰,便于搜索和操作。θ - 包含关系由于非反对称性,可能会产生逻辑等价的子句,导致搜索过程中出现无用子句和无限循环的风险。逆消解框架在引入新谓词时,会使搜索空间变得更加复杂。
8. 泛化性在机器学习中的应用
8.1 假设空间搜索
在机器学习中,泛化性的概念对于假设空间的搜索至关重要。通过泛化和特化算子,可以在假设空间中进行有效的搜索。例如,在归纳逻辑编程中,使用特化算子可以从一个较泛化的假设逐步生成更具体的假设,而泛化算子则相反。
具体操作步骤如下:
1. 选择一个初始假设。
2. 根据泛化或特化算子,生成一组新的假设。
3. 评估这些新假设的性能,选择性能较好的假设。
4. 重复步骤 2 和 3,直到找到满意的假设或达到搜索终止条件。
8.2 背景知识的利用
背景知识在机器学习中可以显著提高学习效率和准确性。在归纳逻辑编程中,背景知识以子句集合的形式存在,通过计算底子句,可以将背景知识融入到学习过程中。
具体操作流程如下:
1. 确定背景知识 B 和待学习的实例 c。
2. 计算子句 c 相对于背景知识 B 的底子句 φ(c)。
3. 在底子句 φ(c) 的泛化空间中进行搜索,找到涵盖实例 c 的合适假设。
8.3 谓词发明的作用
谓词发明在机器学习中可以帮助发现新的特征和关系。逆消解框架中的一些算子可以实现谓词发明,引入原始数据中不存在的新谓词。
例如,在处理复杂的逻辑关系时,如果现有的谓词无法准确描述数据,通过谓词发明可以创建新的谓词,从而提高模型的表达能力。具体操作时,使用逆消解的相关算子,如内部构造算子,根据已有子句生成包含新谓词的子句。
9. 总结与展望
9.1 主要内容总结
本文详细介绍了泛化性的基本概念,包括从蕴含学习、从解释学习等不同学习设置下泛化性与逻辑蕴含的关系。阐述了操作视角下演绎推理规则与特化、归纳推理规则与泛化的联系,以及推理规则的可靠性和完备性。介绍了多种泛化性的逻辑框架,如命题包含关系、θ - 包含关系和逆消解,并分析了它们的特点、性质和适用场景。还探讨了背景知识对泛化性的影响以及不同泛化框架在机器学习中的应用。
9.2 未来发展方向
- 算法优化 :针对 θ - 包含关系的非反对称性和逆消解的复杂性问题,未来可以研究更高效的算法来减少搜索空间的冗余和计算复杂度。
- 融合多种框架 :尝试将不同的泛化框架进行融合,发挥各自的优势,以处理更复杂的机器学习问题。
- 结合其他技术 :将泛化性的逻辑框架与深度学习、强化学习等其他机器学习技术相结合,拓展其应用范围。
通过不断深入研究和改进泛化性的逻辑框架,有望为机器学习领域带来更强大的工具和方法,推动该领域的进一步发展。
339



被折叠的 条评论
为什么被折叠?



