智能计算方法与实现2|模拟退火算法原理|工具箱及其应用

模拟退火算法原理

模拟退火算法

模拟退火算法（SimulatedAnnealing，SA）最早的思想是由N.Metropolis等人于1953年提出。
1983年，S.Kirkpatrick等成功地将退火思想引l入到组合优化领域
它是基于Monte-Carlo送代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性

模拟退火算法从某一较高初温出发，伴随温度参数的不断下降，结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优。
模拟退火算法是一种通用的优化算法，理论上算法具有概率的全局优化性能，自前已在工程中得到了广泛应用，诸如VLSI、生产调度、控制工程、机器学习、神经网络、信号处理等领域

模拟退火算法是通过赋予搜索过程一种时变且最终趋于零的概率突跳性，从而可有效避免陷入局部极小并最终趋于全局最优的串行结构的优化算法

模拟退火核心思想

模拟退火算法从某一较高初温出发，伴随温度参数的不断下降，结合一定的概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优。
这里的”一定的概率”的计算参考了金属冶炼的退火过程，这也是模拟退火算法名称的由来。将温度T当作控制参数，目标函数值f视为内能E，而固体在某温度T时的一个状态对应一个解，然后算法试图随着控制参数T的降低，使目标函数f（内能E）也逐渐降低，直至趋于全局最小值（退火中低温时的最低能量状态），就像金属退火过程一样。

模拟退火数学原理

从上面我们知道，会结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，那么具体的更新解的机制是什么呢？如果新解比当前解更优，则接受新解，否则基于Metropolis准则判断是否接受新解。
接受概率为：
$$P=\{\begin{array}{c}1,E_{t+1}<E_t\\ e^{\frac{-(E_{t+1}-E_t)}{kT}},E_{t+1}\ge \end{array}$$