12、蒙特卡罗优化与Metropolis - Hastings算法详解

蒙特卡罗优化与Metropolis - Hastings算法详解

1. 蒙特卡罗优化相关练习

在蒙特卡罗优化领域，有一系列的练习可帮助我们深入理解相关概念和算法。以下是一些具体的练习内容：
- 练习5.13 ：在特定设定下，绘制与模型相关的似然曲面，并确定给定样本的局部最大值数量。生成样本的代码如下：

x=rnorm(80,mean=-4)
for (i in 1:4) x=c(x,rnorm(80,mean=-4+2*i))

• 练习5.14 ：考虑来自混合分布的样本，该分布权重未知。具体步骤如下：
  1. 引入指示变量$Z_i$，证明完整数据似然可表示为$L_c(\theta|x, z) = \prod_{i=1}^{n}[z_ig(x_i) + (1 - z_i)h(x_i)] \theta^{z_i}(1 - \theta)^{1 - z_i}$。
  2. 证明$E[Z_i|\theta, x_i] = \frac{\theta g(x_i)}{\theta g(x_i) + (1 - \theta)h(x_i)}$，并推导出EM序列为$\hat{\theta}^{(j + 1)} = \frac{1}{n} \sum_{i = 1}^{n} \frac{\hat{\theta}^{(j)}g(x_i)}{\hat{\theta}^{(j)}g(x_i) + (1 - \hat{\theta}^{(j)})h(x_i)}$。
  3. 在模拟数据集