10、蒙特卡罗优化方法详解

蒙特卡罗优化方法详解

1. 优化问题概述

优化问题主要分为两类：一是在定义域 Θ 上寻找函数 h(θ) 的极值；二是在定义域 Θ 上求解隐式方程 g(θ) = 0 的解。这两类问题在一定程度上可以相互转换，例如，求解隐式方程可以转化为函数 h(θ) = g²(θ) 的最小化问题（一维情况），而寻找函数极值则等价于求解 ∂h(θ)/∂θ = 0（假设函数 h 可微）。因此，我们主要关注最大化问题：
[
\max_{\theta\in\Theta} h(\theta)
]
因为最小化问题可以通过将 h 替换为 -h 或 1/h 转化为最大化问题。

优化问题（5.1）可以通过数值方法或随机方法来处理。数值方法的性能高度依赖于目标函数的分析性质（如凸性、有界性和平滑性），而在基于模拟的方法中，这些性质的影响较小。因此，如果函数 h 过于复杂，无法进行解析研究，或者定义域 Θ 过于不规则，随机方法是更好的选择。

需要注意的是，优化问题通常比积分问题更难解决。从计算角度来看，优化问题更具局部性，即更难在定义域中精确找到单个极值点，而不是求同一定义域上规则函数的平均值。

2. 数值优化方法

在 R 语言中，有几个内置函数可用于解决优化问题。

2.1 optimize 函数

optimize（或 optimise）是最简单的函数，用于处理一维目标。

示例 5.1 ：考虑最大化柯西分布 C(θ, 1) 样本的似然函数：
[
\ell(\theta|x_1, \ldots, x_n) = \pro