70、概率编程与从示例中学习：技术解析与应用前景

概率编程与从示例中学习：技术解析与应用前景

概率编程

概率编程是一种强大的工具，用于表示和推理复杂的概率模型。在概率编程中，推理方法的选择至关重要。

推理方法

• 似然加权法 ：仅在数据根据模型有合理可能性时效果较好。当面对更具挑战性的情况时，马尔可夫链蒙特卡罗（MCMC）方法通常是首选。MCMC应用于概率程序时，涉及对执行轨迹进行采样和修改。在操作过程中，需要考虑诸多因素，例如对执行轨迹的修改（如改变if语句的结果）可能会使轨迹的其余部分无效。
• 提升推理 ：对推理的改进来自多个方面。一些改进甚至能从根本上改变给定概率编程语言（PPL）可处理的问题类别，例如之前为关系概率模型（RPMs）描述的提升推理就有这样的效果。在许多情况下，通用的MCMC方法速度较慢，因此需要特殊的建议来使推理过程快速混合。

降低推理开销的方法

• 编译方法 ：将为贝叶斯网络描述的编译思想应用于开放宇宙概率模型（OUPMs）和PPL的推理，通常能使速度提高两到三个数量级。
• 专用硬件 ：也有针对消息传递和MCMC等算法的专用硬件提案。例如，蒙特卡罗硬件利用低精度概率表示和大规模细粒度并行性，在速度和能源效率上实现100 - 10000倍的提升。
• 基于学习的方法 ：基于学习的方法也能显著提高速度。例如，自适应建议分布可以逐渐学习如何生成MCMC建议，这些建议既可能被接受，又