启发式算法学习记录

启发式算法学习记录

1.什么叫启发式算法

百度百科：
启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。现阶段，启发式算法以仿自然体算法为主，主要有蚁群算法、模拟退火法、神经网络等。

其他一些不错的说法：

启发式算法就是例如遗传算法，模拟退火，各种群算法，蚁群，鱼群，粒子群，人工神经网络等模仿自然界或生命体行为模式的算法，一般又称人工智能算法或全局优化算法。

启发式算法是指具有自学习功能，可利用部分信息对计算产生推理的算法。

有一个很值得关注的点，就是启发式算法的解具有偶然性，可能很接近最优解，也可能偏离的很远。

从定义很难去理解一个算法，不如看个实例。

2.模拟退火算法

模拟退火是启发式算法的一种，具体学习的是冶金学中金属加热-冷却的过程。

主要是将热力学的理论套用到统计学上，将搜寻空间内每一点想象成空气内的分子；分子的能量，就是它本身的动能；而搜寻空间内的每一点，也像空气分子一样带有“能量”，以表示该点对命题的合适程度。演算法先以搜寻空间内一个任意点作起始：每一步先选择一个“邻居”，然后再计算从现有位置到达“邻居”的概率。若概率大于给定的阈值，则跳转到“邻居”；若概率较小，则停留在原位置不动。

模拟退火是启发示算法的一种，也是一种贪心算法，但是它的搜索过程引入了随机因素。在迭代更新可行解时，以一定的概率来接受一个比当前解要差的解，因此有可能会跳出这个局部的最优解，达到全局的最优解。以下图为例，假定初始解为左边蓝色点A，模拟退火算法会快速搜索到局部最优解B，但在搜索到局部最优解后，不是就此结束，而是会以一定的概率接受到左边的移动。也许经过几次这样的不是局部最优的移动后会到达全局最优点D，于是就跳出了局部最小值。

<