19、算法时代与芯片技术的革新

算法时代与芯片技术的革新

算法空间探索

想象一下所有可能算法构成的空间，这个空间中的每一个点都代表着一个能完成特定任务的算法，其中一些算法极为实用且高效。过去，这类算法由数学家和计算机科学家像工匠一样精心打造。斯蒂芬·沃尔弗拉姆（Stephen Wolfram）通过穷举搜索实现了细胞自动机算法的自动发现，从最简单的自动机开始，其中一些能产生高度复杂的模式。这一发现可用沃尔弗拉姆定律概括：在算法空间中，无需探索太远就能找到解决某类有趣问题的算法。就像在互联网上派机器人玩《星际争霸》等游戏，尝试所有可能的策略，按照该定律，在算法宇宙的某个地方应该存在能赢得游戏的算法星系。

沃尔弗拉姆专注于细胞自动机空间，这只是所有可能算法空间中的一个小子空间。但如果细胞自动机是比其他类型算法更具普遍性的非典型算法呢？如今，在神经网络空间中，我们已证实了沃尔弗拉姆定律。每个深度学习网络都是通过学习算法找到的，学习算法是一种能发现新算法的元算法。对于大型网络和大量数据，从不同初始状态开始学习可以生成一系列在解决问题上效果大致相当的网络。这就引出了一个问题：是否有比梯度下降更快的方法来找到算法空间的区域，因为梯度下降速度慢且需要大量数据。一个可能的线索是，每个生物物种就像生活算法空间中某一点周围由不同 DNA 序列创造的个体云，大自然通过自然选择实现了从一个云到另一个云的跳跃，这一跳跃过程被称为“间断平衡”，同时还通过随机突变进行局部搜索。遗传算法就是基于大自然进化新生物的方式设计的，用于实现这种跳跃。我们需要一种数学方法来描述这些算法云。算法宇宙是什么样子，谁也不知道，但还有许多未被发现的算法星系等待我们通过自动发现技术去探索。

我的实验室的博士后研究员克劳斯·施蒂费尔（Klaus Stiefel）在