95、参数估计：共享参数学习模型全解析

参数估计：共享参数学习模型全解析

1. 学习共享参数模型的价值

学习共享参数模型具有多方面的重要意义。首先，所学习的模型本身往往能为训练数据中的对象提供深刻的洞察。例如，通过特定的模型，我们可以了解到训练语料库中每个文档的主题混合情况。其次，那些并非特定于某个对象的模型参数可以迁移到其他框架中。以文档集合为例，从一个文档集合中学习到的与不同主题相关的词多项式，也能应用于另一个文档集合，只需推断新文档特定的参数即可。这种分析不仅适用于板块模型，同样也适用于动态贝叶斯网络（DBNs）、概率关系模型（PRMs）以及其他多种共享参数的基于模板的语言。

2. 局部参数共享

在之前的讨论中，我们主要关注了不同条件概率分布（CPD）之间的参数共享情况。然而，在单个CPD内部也可能存在局部参数共享的情况。

2.1 示例说明

以一个根据学生的申请、推荐信和SAT成绩来建模其获得工作概率的CPD为例。如果学生没有正式申请某个职位，招聘公司就无法获取推荐信和SAT成绩。因此，条件概率分布P(J | a0, s0, l0)等于P(J | a0, s1, l1)。实际上，之前所考虑的一些表示方法，如树 - CPDs，可以看作是对不同条件分布进行参数共享的编码方式。这些表示方法能够指定CPD内哪些条件分布是相等的，这些相等约束对模型所编码的独立性陈述有影响，并且在某些情况下可以在推理中加以利用。但需要注意的是，并非所有的局部结构都能简化为CPD内条件分布的简单相等约束，像噪声或CPD或广义线性模型，它们组合参数的方式与本节讨论的有很大不同，需要不同的技术来处理。

2.2 具体设定与定义

我们关注的是CPD定义了一组多