【嵌入式拉普拉斯近似】Integrated Nested Laplace Approximation

Bayesian Inference with INLA

积分嵌套拉普拉斯近似（Integrated Nested Laplace approximation）是一种近似贝叶斯推理方法。

Introduction to Bayesian Inference

近年来，由于计算统计学的重要进步，贝叶斯推理得到了发展。本文章将重点介绍用于近似贝叶斯推理的集成嵌套拉普拉斯近似。INLA是贝叶斯统计学中最近的几个计算突破之一，它允许快速准确的模型拟合。

贝叶斯定理介绍

在贝叶斯范式中，模型中的所有未知量都被视为随机变量，其目的是计算（或估计）联合后验分布。这就是参数θ的分布，以观测数据y为条件。获得后验分布的方法依赖于贝叶斯定理：
$$P(\theta |x)=\frac{P(x|\theta )\cdot P(\theta )}{{\int }_{\theta }P(x|\theta )\cdot P(\theta )d\theta }$$

• 等式左边项$P(\theta |X)$表示后验概率，其中$P(\theta |X)\propto P(\theta )\cdot P(X|\theta )$
• $P(x|\theta )$表示似然
• $P(\theta )$表示先验

贝叶斯定理是统计的基础，提到贝叶斯统计，一个自然地问题就是先验分布该如何选择（问不同的人会给出不同的答案）。贝叶斯统计的一个缺点就是贝叶斯公式比频率派的参数估计更加复杂，那么如何选择合适的先验分布让贝叶斯统计变得更加容易计算就成为了一个非常现实的问题。
为什么说贝叶斯统计是难以计算的呢？一个最直接的困难就是我们难以保证后验分布具有解析解，这里的后验分布具有解析指的是后验分布的密度函数具有解析解。为什么后验分布有时会不具备解析解？因为在贝叶斯公式中分母是一个积分，那么显然就不一定具有解析解，一旦分母没有解析解后验分布就不一定具有解析解。若想让这个分母的积分具有解析解，由于分母的被积函数是模型和先验分布相乘，因此在这里你可能会简单的认为只要选取一个合适的模型和先验分布就能让后验分布具有解析解。但是，因为贝叶斯统计是不断收集数据和并更新参数分布的迭代过程。利用贝叶斯计算后验分布在更新的过程中，每次都会把上次迭代的后延分布设为新一轮迭代的先验分布。所以为了确保每次迭代的后验分布都能够得到一个解析解，为达此目的，须让先验分布和后延分布同属于一个参数化分布族，也就是让先验分布和后验分布的表达式形式相同。
注意，后验分布的形式是有先验分布和模型（似然函数）共同决定的。因此，需要同时选取特定的先验分布和模型才能保证后验分布和先验分布相同的形式。自然而然的我们引出共轭先验的定义：
共轭先验指的是一个分布族为模型$X\sim f_{x|\theta }(x|\theta ),\theta \in \Omega$的共轭先验，若只要先验分布$f_{\theta }(\theta )$是从该分布族中选取的，最终得到的后验分布$f_{\theta |x}(\theta |x)$也就属于该分布族。

共轭先验——Conjugate priors

如上所述，后验分布仅以闭合形式用于少数模型。具有共轭先验的模型是那些先验与似然具有相同形式的模型。例如，如果似然是具有已知精度的高斯分布，则均值上的共轭先验是高斯分布。这将确保平均值的后验分布也是高斯分布。
例如，我们有一系列的观测值 { y i } i = 1 n \{y_i\}_{i=1}^n { yi​}i=1n​服从高斯分布
$$y_i|\mu ,\tau \sim N(\mu ,\tau ),i=1,\dots ,n$$
其中$\mu$是未知的均值和一个已知的方差值的$\tau$，$\mu$的先验可以是具有均值${\mu }_0$和方差 τ 0 \tau_0