兔子走遍世界——物理学视角下的采样方法

曾经有过一个「有志气的兔子」的故事，相信很多朋友都听过：为了找出地球上最高的山，一群有志气的兔子们开始想办法：

兔子朝着比现在高的地方跳去。他们找到了不远处的最高山峰。但是这座山不一定是珠穆朗玛峰。这就是局部搜索，它不能保证局部最优值就是全局最优值。

兔子喝醉了。他随机地跳了很长时间。这期间，它可能走向高处，也可能踏入平地。但是，他渐渐清醒了并朝最高方向跳去。这就是模拟退火。

兔子们吃了失忆药片，并被发射到太空，然后随机落到了地球上的某些地方。他们不知道自己的使命是什么。但是，如果你过几年就杀死一部分海拔低的兔子，多产的兔子们自己就会找到珠穆朗玛峰。这就是遗传算法。

兔子们知道一个兔的力量是渺小的。他们互相转告着，哪里的山已经找过，并且找过的每一座山他们都留下一只兔子做记号。他们制定了下一步去哪里寻找的策略。这就是禁忌搜索。

这几个比喻非常经典，经典到我已经不太能确定这个比喻最早的出处。近些年来，人工智能、机器学习、大数据成为了大家街头巷尾热议的主题，上面提到的这些算法得到了非常广泛的注意。在许多实际问题中，我们经常会需要找到「最少的投入」的方案，「能量最低」或者「熵最大」的状态，「效率最高」的某种设计，在这些问题中，上面所介绍的一些算法，再配合上一些改进，可以帮助我们以较小的代价，较快的速度，找到「地球上最高的山」，即找到体系在满足一些约束条件的情况下，所能取得的最小值或者最大值。

不过仅仅只知道最值也还可能并不够。考虑能量的极小化，我们可以用上面介绍的这些方法求得一个最低的能量，虽然我们知道「能量最低」的状态通常是最稳定的状态，但是因为各种随机因素的影响，系统很可能会偏离这样的能量最低状态。假如体系还有若干个跟最小值很接近的次小值（这在玻璃体系里是常见的），那么稍稍扰动一下（提高一点温度），就会有一些粒子被激发到其它次低的能量状态上去，在测量「平均值」的时候就会必须考虑到那些次小值的影响，随着外界扰动大小（温度）的增加，系统会越来越偏