17、符号回归与系统动力学建模的高级技术解析

符号回归与系统动力学建模的高级技术解析

1. 置信区间与贝叶斯预测区间

在符号回归中，如果已经支持基于梯度的系数局部优化，那么计算置信区间和预测区间所需的功能也已具备，并且可以相应地扩展符号回归的实现。然而，轮廓似然的计算实现起来更困难，计算成本也更高，因为它需要对轮廓进行多次参数优化重启。

贝叶斯方法为我们提供了另一种选择，它允许我们结合模型参数的先验信息，并通过对模型参数进行积分来计算预测的边际概率。对于贝叶斯推断，我们可以使用马尔可夫链蒙特卡罗（MCMC）采样技术或不同类型的近似方法。MCMC是一种通用方法，可应用于不同类型的先验分布和层次模型，但计算量可能很大。其主要难点在于MCMC算法需要找到所有相关的局部最优解，并对后验分布模式周围的区域进行采样，这比最大似然估计中找到单个良好的局部最优解更具挑战性。

我们使用两个模型来展示MCMC的能力，并比较轮廓似然区间和MCMC的结果。对于CO₂模型，我们以最大似然估计值θ和相应的σerr作为起点，使用No - U - Turn - Sampler（NUTS）生成10,000个样本。贝叶斯模型如下：

σ2
err ∼truncated(N(0.8, 1), 0, ∞)
µ = (2.945, −14.44, −71.72, 16.52, 421.4)
σ = (7.24 × 10−2, 2.45 × 10−2, 1.35, 2.81 × 10−3, 2.82)
θ ∼N(µ, diag(σ2))
y ∼N(CO2(date), σ2
err I)

其中CO₂(date)是回归函数。对于该模型，采样仅需几秒