50、机器学习回归模型支持的最优实验设计

机器学习回归模型支持的最优实验设计

1. 预测不确定性相关概念

在给定输入点 $x \in X$ 处，估计模型预测的不确定性可以通过涉及模型 $m$ 和模型 $M$ 逆的矩阵乘积的迹来计算。我们将此值 $U^{f,\xi}(x, \theta)$ 称为估计模型（给定设计 $\xi$）在点 $x$ 处的预测不确定性。相应地，$U^{f,\xi}(\theta) := \max_{x\in X} U^{f,\xi}(x, \theta)$ 称为模型（给定设计 $\xi$）的最大预测不确定性。为简便起见，通常假设 $\theta$ 已知并省略该值，仅写为 $U^{f,\xi}(x)$ 和 $U^{f,\xi}$。

对数 $D$ - 准则的灵敏度函数 $\psi(\xi, x)$ 与预测不确定性的关系为：$\psi(\xi, x) = d_{\theta} - U^{f,\xi}(x)$。由此，局部最优设计的最优性条件可以用最大预测不确定性简洁地表示：若条件 1 满足，且 $\psi$ 是定义在 (7) 中的灵敏度函数，则设计 $\xi^{ } \in \Xi(X)$ 关于对数 $D$ - 准则局部最优，当且仅当 $\xi^{ } \in \Xi_{fin}(X)$ 且 $U^{f,\xi^{ }} = \max_{x\in X} U^{f,\xi^{ }}(x) = d_{\theta}$。

2. 自适应离散化算法

2.1 算法概述

优化问题 (P) 是设计测度 $\xi$ 的无限维问题。为解决此问题，采用类似于半无限规划中的 Blankenship 和 Falk 算法的方法，对设计空间 $X$