【算法】模拟退火算法学习记录

        写这篇博客的原因是博主本人在看某篇文章的时候，发现自己只是知道SGD这个东西，但是到底是个啥不清楚，所以百度了一下，然后在通过博客学习的时候看到了退火两个字，想到了本科做数模比赛的时候涉猎过，就上bilibili搜索讲解视频学习了退火的算法，感觉看完之后收获还蛮大的，所以写下这篇博客作为记录。话不多说，上正文——

一、算法介绍

        模拟退火算法（Simulated Annealing, SA）是一种概率型优化算法，它受到物理学中固体物质退火过程的启发。退火过程是指将固体加热后再慢慢冷却，使其达到能量最低的稳定状态。模拟退火算法将这一过程应用于组合优化问题，通过模拟退火过程来寻找问题的全局最优解。

        举个栗子，逼近下图函数的最大值，利用退火的思想就是经过多次迭代（退火），逼近函数上的A点。

         因为模拟退火算法借鉴的是固体的退货原理，相信理科生都能很快get到，温度越高，固体内部的分子能量越高，均处于快速无序的运动，当温度慢慢降低时，分子的能量降低，慢慢地趋于有序，到最后达到常温的时候，能量达到最小，此时内部的分子最为稳定。从前面这段话我们可以解析出几个点——

• 温度越高，分子越乱，放在退火算法里就是温度越高，x的跳变范围越大
• 温度变化是缓慢的，特别特别慢那种