最优化学习笔记（二十）——全局搜索算法

一、引言

    前边的博文我们讨论过一些迭代算法，包括梯度方法、牛顿法、共轭梯度法和拟牛顿法，能够从初始点出发，产生一个迭代序列，但是往往这些迭代序列只能收敛到局部极小点，而且这些迭代方法需要计算目标函数的一阶导数(牛顿法还需计算二阶导数)。从本节开始，讨论一些全局搜索算法，这些方法只需要计算目标函数值，而不需要对目标函数求导。

二、Nelder-Mead 单纯形法(一)

    Nelder-Mead 单纯形法引入了单纯形的概念，不需要计算目标函数的梯度。所谓单纯形，指的是由$n$维空间中的n+1个点$\boldsymbol{p_0, p_1, \dots, p_n}$构成的几何形状，且满足：

det[p01