4、概率循环的分布估计：基于矩的方法

概率循环的分布估计：基于矩的方法

1. 引言

概率程序（PPs）是带有从概率分布中抽样原语的程序，其输出不是单一值，而是输出上的概率分布，为建模涉及不确定性的系统行为提供了强大框架。许多机器学习和统计学习技术利用PPs来表示和更新数据驱动的人工智能系统。然而，量化和建模PPs产生的分布，正式捕捉PP行为是具有挑战性的。

传统的基于采样的技术虽可近似PPs中的概率分布，但无法应用于具有潜在无界循环的无限状态PPs。近期，静态程序分析与统计技术结合，可推断具有受限循环和多项式更新的PPs中随机程序变量的高阶统计矩。本文提出一种算法方法，用于估计具有无界循环的PPs中随机变量的概率分布，同时通过正式统计测试评估估计质量。

2. 动机示例

以金融中的Vasicek模型为例，该模型描述利率的演变，由随机微分方程定义：
[d r_t = a(b - r_t) dt + \sigma d W_t]
其中，(W_t)是维纳过程（标准布朗运动），(\sigma)是标准差，(b)是长期均值水平，(a)是回归速度。将其编码为PP，该PP对从正态分布中抽取的随机变量(r)和(w)进行多项式循环更新。基于该PP中(r)的一阶和二阶矩，使用最大熵和Gram - Charlier展开来估计随机变量(r)的分布。多次执行PP生成的数据在直方图中展示，最大熵和Gram - Charlier展开的核密度估计与直方图紧密匹配，卡方和Kolmogorov - Smirnov测试结果也支持估计的准确性。

3. 相关工作

• 核密度估计 ：与约束最小化问题结合用于有限矩问题的（Hausdo