鲁棒实验设计（ED-最优设计）

最新推荐文章于 2024-04-21 09:28:55 发布

原创

最新推荐文章于 2024-04-21 09:28:55 发布 · 1.8k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #人工智能 #概率论 #深度学习 #神经网络

本文介绍了统计实验设计中的D-最优与ED-最优概念，重点讨论了最大似然估计、Fisher信息矩阵及其在多元线性回归中的应用。D-最优设计依赖于参数的标称值，而ED-最优设计考虑了参数的不确定性，通过求取期望来优化设计。以一个非线性模型为例，展示了如何计算Fisher信息并应用ED-最优设计。

写在前面

在中文社区，对于最优设计这块的讨论几近于无。写这篇博客也算是抛砖引玉。

论文：《Robust Experiment Design via Stochastic Approximation 》（1984）
作者：LUC PRONZATO AND ERIC WALTER

介绍了一种统计实验设计方案，利用Fisher矩阵的行列式的期望评判参数估计精度。然而，Fisher矩阵的计算需要知道未知参数的值，这实际上是不能获得的，因此需要一个标称值(nominal value of the parameter.)

ED-Optimal design

D-optimal design

在介绍ED-optimal之前，需要对D-optimal进行介绍。
最大似然估计写为：
$θml=argmaxθ[p(y∣θ)]\theta_{ml}=argmax_\theta[p(y|\theta)]$
最大似然估计是渐进正态的
$N(θ,M−1(θ))\mathcal{N}(\theta, M^{-1}(\theta))$
其中， $M(θ)M(\theta)$ 是Fisher信息矩阵，定义为
$M(θ)=Ey∣θ∂lnp(y∣θ)∂θ∂lnp(y∣θ)∂θTdyM(\theta)=E_{y|\theta}{\frac{\partial lnp(y|\theta)}{\partial \theta}}{\frac{\partial lnp(y|\theta)}{\partial \theta^T}}dy$
也等于 $M(θ)=Ey∣θ[∂2lnp(y∣θ)∂θ∂θT]M(\theta)=E_{y|\theta}[\frac{\partial ^2 lnp(y|\theta)}{\partial \theta \partial \theta^T}]$