模拟退火算法---原理学习

1.原理：来源于固体退火原理，是一种基于概率的算法，将固体加温至充分高，再让其徐徐冷却，加温时，固体内部粒子随温升变为无序状，内能增大，而徐徐冷却时粒子渐趋有序，在每个温度都达到平衡态，最后在常温时达到基态，内能减为最小。
2.该算法目的是，打乱原有秩序，有能力跳出局部最优解，有概率达到全局最优解，理论上算法具有概率的全局优化性能。
3.算法实现：模拟退火算法从某一较高初温出发，伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优。用固体退火模拟组合优化问题，将内能E模拟为目标函数值f，温度T演化成控制参数t，即得到解组合优化问题的模拟退火算法：由初始解i和控制参数初值t开始，对当前解重复“产生新解→计算目标函数差→接受或舍弃”的迭代，并逐步衰减t值，算法终止时的当前解即为所得近似最优解，这是基于蒙特卡罗迭代求解法的一种启发式随机搜索过程。
4.它本质还是随机搜索算法，如果应用在梯度下降中，在下降过程应用梯度下降法，在达到局部最优解时，它会以一定概率跳过局部最优解，概率和其当前能量有关（局部最小值），值越大，能量越大，跳距离自己越远的地方概率越大。