26、马尔可夫逻辑网络的高效权重学习

马尔可夫逻辑网络的高效权重学习

1. 引言

统计关系学习（SRL）聚焦于数据点并非独立同分布的领域，它融合了统计学习和归纳逻辑编程的思想，近年来受到了广泛关注。马尔可夫逻辑是SRL中强大的表示方法，它将马尔可夫随机场和一阶逻辑进行了泛化。把问题表示为马尔可夫逻辑网络（MLN），只需写下一阶公式列表，并从数据中学习这些公式的权重。目前，学习MLN权重性能最佳的算法是投票感知机算法，但该算法在收敛速度上存在问题。

MLN权重学习本质上是一个凸优化问题，梯度下降法理论上可找到全局最优解，但实际收敛可能极慢。这是因为MLN是指数模型，不同子句的充分统计量（子句为真的次数）差异巨大，单一学习率难以兼顾所有权重，导致学习问题呈现病态。而且，计算MLN的似然需要计算配分函数，这通常是难以处理的，使得一些常见的优化方法难以应用。

为解决这些问题，本文探索了多种替代方法，包括按权重设置学习率和二阶方法。特别关注了避免计算配分函数的对角牛顿法和缩放共轭梯度法，并通过实验验证了这些方法能显著加速收敛。同时，按权重设置学习率的简单方法也取得了不错的效果。

2. 马尔可夫逻辑

马尔可夫逻辑网络（MLN）由一组一阶公式及其权重{(wi, fi)}组成。公式可看作是有噪声的关系规则，权重表示规则的相对强度或重要性。给定一组有限常量，MLN可实例化为马尔可夫随机场（MRF），其中每个节点是谓词（原子）的实例化，每个特征是公式（子句）的实例化。所有原子的联合概率分布如下：
[P(X = x) = \frac{1}{Z} \exp \left( \sum_{i} w_i n_i(x) \right)]
其中，$n_i$ 是第 $i$ 个公式在世界状态