终极算法——第二章：终极算法

本文为阅读总结个人认为书里概念性的、对本人有帮助的内容，仅供参考。

本书的中心假设：所有知识，无论使过去的、现在的，还是未来的，都有可能通过单个通用学习算法来从数据中获得。

来自神经科学的论证：

发明终极算法的一种途径（可以说是最流行的一种）就是对人脑进行逆向解析。

来自进化论的论证：

生物多样性源于单一机制：自然选择。

进化论是一种算法。

进化论是另外一个有希望通往终极算法的途径。

来自物理学的论证：

如果这个世界仅仅是一个不断变大、喧哗嘈杂的困惑体，那么我们有理由怀疑通用学习算法的存在。但如果我们所经历的一切仅仅是几个简单规律的产物，那么单个算法能推导出所有一切能推导的东西，就是可以理解的。终极算法要做的就是提供一条捷径，通过实际观察，用简短的算式推导（而不是长长的算式）来得出这些规律的结果。

在《论契合：知识的统合》（Consilience）一书中，著名生物学家爱德华·威尔逊慷慨激昂低阐释了知识（从科学到人文学）的统一性。终极算法就是该统一性的完美表达：如果所有知识共同遵循一个模式，那么终极算法就存在，反之则不存在。

来自统计学的论证：

贝叶斯定理就是将数据变成知识的机器。据贝叶斯统计学派的观点，贝叶斯定理是将数据变成知识的唯一正确方法。如果该学派的观点正确，贝叶斯定理要么就是终极算法，要么就是推动终极算法发展的动力。

来自计算机科学的论证：

NP完全问题（non-determinstic polynimail completeness)，即多项式复杂程度的非确定性问题，是理论计算机科学最重要的一个问题。

在计算机科学中，P和NP是两类最重要的问题。如果我们能有效解决它，那么这个问题就属于P；如果我们能有效找到其解决方案，那么这个问题属于NP。

人工智能的其中一个定义是，人工智能包括找到NP完全问题的所有启发性解决方案。

算法是归纳的过程，而学习的过程对图灵机来说，就是演绎的过程。

机器学习算法与知识工程师：

根据知识工程支持者的观点，知识无法自动被学习，必须通过人类专家编入计算机，才能对它进行学习。

知识工程师和机器学习算法一样，遇到许多相同的问题，虽然他们没有成功，但学到了许多宝贵的教训；学习和知识以异常微妙的形式相互交织，而我们很快就会发现这一点。

 

机器学习算法的首要任务就是区别可预测的事和不可预测的事。但终极算法的目标事要学习一切能认知的东西。

科学经历的三个时期：布拉赫时期、开普勒时期、牛顿时期。布拉赫时期，我们收集了很多数据；开普勒时期，我们使经验规律符合数据；牛顿时期，我们发现了更深刻的真理。

当今学习算法最大的问题，不是它们数量太多，而是尽管它们有用，却不能完成我们让它们做的所有事情。

我们利用机器学习来发现深刻的真理之前，得先找到关于机器学习的深刻真理。

机器学习本质上简单的，我们只需削掉数学及行话这些外皮，然后把最里面的“俄罗斯套娃”展示出来。

未来属于那些深深懂得如何将自己的独特专场与算法的擅长结合起来的人。

无论学习算法有多好用，也只是在获得数据时好用。

控制好数据，控制好算法掌握的模型的所有权，这就是21实际战争的内容。

终极算法会给出所有学科的统一思想，并有潜力提出一套新的万有理论。

理论是关于世界是什么的一系列约束条件，而不是对世界的完整描述。为了获得对世界的完整描述，你必须将理论和数据结合起来。

理论的强大之处在于它简化了我们对世界的描述。

物理定律只告诉我们局部会发生的事情。

不想特定领域的理论旨在该领域之才有权威，终极算法在所有领域中都有权威。

终极算法是所有理论的起源。

终极算法的候选项：记忆，然而世界上的东西比你能看到的多得多；微处理器，微处理器不是运行一切特殊算法最好的硬件，最好的硬件应该是特定用途集成电路，专为那种算法而精确设计；或非门，就像乐高砖不是万能玩具一样，或非门不是终极算法。

终极算法就是等式U(X)=0，该等式表达的是某未知数X（可能很复杂）的某函数U（可能很复杂）等于0。

机器学习的五大学派：

对于符号学派来说，所有的信息都可以简化为操作符号。他们的主算法是逆向演绎，逆向演绎致力于弄明白，为了使演绎进展顺利，哪些知识被省略了，然后弄明白是什么让主算法变得越来越综合。

对于联结学派来说，学习就是大脑所做的事情，因此我们要做的就是对大脑进行逆向演绎。联结学派的主算法是反向传播学习算法，该算法将系统的输出与想要的结果相比较，然后连续一层一层地改变神经元之间的连接，目的是为了使输出的东西接近想要的东西。

进化学派认为，所有形式的学习都源于自然选择。进化主义解决的关键问题是学习结构：不只是像反向传播那样调整参数，它还创造大脑，用来对参数进行微调。进化学派的主算法是基因编程。

贝叶斯学派最关注的问题是不确定性。解决的办法就是运用概率推理，而主算法就是贝叶斯定理及其衍生定理。贝叶斯定理告诉我们，如何将新的证据并入我们的信仰中，而概率推理算法尽可能有效地做到这一点。

对于类推学派来说，学习的关键就是要在不同场景中认识到相似性，然后由此推倒出其他相似性。类推学派的主算法是支持向量机。

本书将综合出一个拥有所有这些功能的终极算法：我们对终极算法的追寻之旅将让我们了解这5个学派。学派与学派相遇、谈判、冲突的地方，也是这个也旅程最艰难的部分。每个学派都有自己不同的观点，我们必须将这些而观点集中起来。

终极算法