基于累积分布函数的神经似然

简介

我们利用神经网络作为单调函数的通用逼近器来建立条件累积分布函数(CDFs)的参数化。通过对响应变量和CDF表示的参数应用自动微分，我们能够构建黑盒CDF和密度估计器。引入了一组族作为多元情况的替代结构。在一个极端情况下，最简单的构造是一个与最先进的深度学习方法相竞争的密度估计器，尽管它没有提供一个容易计算的多元cdf表示。在另一个极端，我们有一个灵活的结构，从中可以通过深度神经网络中的简单前向传递获得多元CDF评估和边缘化，但是其中的可能性计算随维度呈指数级增长。讨论了两个极端之间的替代方案。我们在涉及尾面积概率、尾依赖性和(部分)密度估计的各种任务上对不同的表示进行经验评估。

论文：Neural Likelihoods via Cumulative Distribution Functions
作者：Pawel Chilinski & Ricardo Silva

关注微信公众号，获取更多资讯

1 贡献

提出了一种基于深度神经网络的多元累积分布函数参数化方法。我们解释了如何通过对神经网络标准方法的直接适应来完成训练。我们工作背后的主要动机包括:对尾部区域概率的直接评估;不需要拟合全关节的联合分布的低维边际的相干估计以及监督/无监督密度估计。

前两个任务直接受益于由神经网络中的前向传递计算的CDF，因为尾部概率和边际CDF基本上可以直接在这种表示中读取。后者已经被越来越多的关于神经密度估计器的文献所解决。这至少可以追溯到Bishop(1994)，他使用多层感知器对(条