凸优化第七章统计估计 7.5 实验设计

最新推荐文章于 2023-04-02 20:01:56 发布

使君杭千秋

最新推荐文章于 2023-04-02 20:01:56 发布

阅读量329

点赞数 1

分类专栏：凸优化

原文链接：https://blog.youkuaiyun.com/wangchy29/article/details/87471247

版权

凸优化专栏收录该内容

62 篇文章

订阅专栏

7.5 实验设计

松弛实验设计问题
标量化

考虑通过测量或实验： $y_i=a_i^Tx+w_i,i=1,\cdots m$ 估计向量 $x \in R^n$ 的问题，其中 w_i 是测量噪声。假设 w_i 是独立同分布的高斯噪声，均值为0，方差为1。

于是x的最大似然估计，也是最小方差估计：

$minimize \, \,\sum_{i=1}^m (y_i-a_i^Tx)^2=\sum_{i=1}^m(x^Ta_ia_i^Tx-2y_ia_i^Tx+y_i^2)$

目标函数对x求偏导，得到：

$2\sum_{i=1}^m(a_ia_i^T)x2\sum_{i=1}^ma_iy_i^Tx=2\sum_{i=1}^m(a_ia_i^T)x-2\sum_{i=1}^ma_iy_ix2\\ =\sum_{i=1}^m(a_ia_i^T)x-2\sum_{i=1}^my_ia_ix$

令其为0，解得 $x=(\sum_{i=1}^ma_ia_i^T)^{-1}\sum_{i=1}^my_ia_i$ ，故极大似然估计的解为： $\hat{x}=(\sum_{i=1}^ma_ia_i^T)^{-1}\sum_{i=1}^my_ia_i$ 相应的估计误差： $e=\hat{x}-x$ 均值为0，协方差矩阵：

$E=\boldsymbol{E}(ee^T)=(\sum_{i=1}^ma_ia_i^T)^{-1}$

矩阵E刻画了估计经度或是实验的信息度。

例如x的 $\alpha$ -置信水平椭圆为： $\varepsilon =\left \{ z|(z-\hat{x})^TE^{-1}(z-\hat{x})\leq \beta \right \}$

其中 $\beta$ 是常熟，由n和 $\alpha$ 决定。

假设刻画测量值的向量 $a_1,\cdots a_m$ 可以从p中可能的检验向量 $v_1,\cdots v_p \in R^n$ 进行选择，即每个 a_i 是 v_j 中的一个。

实验设计：从 $\left\{v_1,\cdots ,v_p \right \}$ 选择 a_i 以使得E极小。

令 m_j 表示 a_i 选择值 v_j 得试验次数，则 $m_1+\cdots +m_p=m$ ，于是协方差矩阵可以描述为：

$E = (\sum_{i=1}^ma_ia_i^T)^{-1}=(\sum_{j=1}^pm_jv_jv_j^T)^{-1}$

于是实验设计问题可以表述为：

$minimize \, \,(\sum_{j=1}^pm_jv_jv_j^T)^{-1} \\ subject \, \, to \, \, m_i \geq 0,m_1+\cdots +m_p=m,m_i \in Z$

Z表示整数。

松弛实验设计问题

因为实验设计问题对 m_i 的征整数的约束们额头很难求解，于是提出松弛实验设计问题。

在 $m\gg p$ 的时候，令 $\lambda_i=m_i/m$ 表示 a_i=v_i 的试验次数与总的试验次数的比值，忽略对 m_i 的整数约束，于是得到：

$minimize (S_+^n)\, \,1/m(\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} \\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

其中 $\lambda \in R^p$ 。

标量化

D-最优设计

极小化误差协方差矩阵E的绝对值，即设计实验，计息哦啊好对应的执行椭球的体积，忽略E中的常数 1/m ，对目标函数求导，得到：

$minimize (S_+^n)\, \,log(det((\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} ))\\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

此问题是一个凸优化问题。

E-最优设计

极小化误差协方差矩阵的范数，即E的最大特征值，即：

$minimize (S_+^n)\, \,\begin{Vmatrix} (\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} \end{Vmatrix}_2\\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$