8、学习上下文无关文法与自动机团队：理论与实践探索

学习上下文无关文法与自动机团队：理论与实践探索

上下文无关文法学习

在上下文无关文法（CFG）的学习领域，我们面临着从上下文无关表示向上下文敏感表示的转变这一重要问题。以分布格文法（DLG）为例，它在表示和解析方面展现出了显著优势。

分布格文法的优势

与CFG不同，DLG能够紧凑地表示潜在指数级大的概念集，并直接进行解析。在CFG中，每个推导都需要单独处理。例如，若有一个包含上下文f的概念和另一个包含上下文g的概念，且它们都能生成相同的字符串w，但这并不意味着存在一个包含f和g的概念能生成该字符串，因为这两个上下文可能来自不同的子推导。而在DLG中，我们可以聚合不同推导的信息，这实际上简化了推导过程，因为在解析表中每个跨度只需保留一个概念。

上下文无关推理策略

对于CFG推理，我们提出的一般策略是定义合适的字符串集合，然后构建所有有效的规则。具体来说，对于任意三元组集合/非终结符X、Y、Z，当且仅当X ⊇ YZ时，我们有规则X → YZ；当且仅当a ∈ X时，有规则X → a。基于同余的方法利用同余类，由于[u][v] ⊆ [uv]，我们有规则模式[uv] → [u][v]。同样，对于概念，SxSy ⊆ (SxSy)′′，所以我们有规则C(X) ◦ C(Y) → C(X), C(Y)。

与二元特征文法的对比

当前的方法受到二元特征文法（BFG）的影响，但也有很大不同。在BFG形式中，原始元素由字符串确定，上下文用于限制生成的规则；而在这里，原始元素由上下文定义，字符串用于限制生成的规则。因此，BFG的单调性引理方向相反：对于BFG，增加K会增加语言，增加F会减少语言；而在当前构造中，情况相