Compute or Memory？

     计算还是记忆？这个抽象的问题容我用两个例子来展开，我们都学过动态规划，用动态规划的方法可以将指数的复杂度降低到多项式的复杂度，例如求斐波那契数，其中一个重要的方法就是把子计算（子结构，也有叫子问题）的计算结果存储下来，遇到想同的计算直接查表获得，而不需重复计算。另外在举个通俗的例子，我考研的时候有一个朋友，数学特别好，脑子好使，我数学不行，最后我们数学的考试成绩差不多，究其原因，他靠的是智力，举一反三的能力强，只做了很少的题目。而我悟性不够，但做了很多题，靠见多识广，靠记忆也获得了相同的能力，至少从考试结果上看。

    

     记得我曾经归纳过搜索引擎快的其中一个原因是precomputing（可能翻译作预计算），搜索引擎把大量的计算过程通过Precomputing的方式提前计算，将计算结果进行存储，在需要计算的时候（用户发生query的时候），通过对这些precomputing的结果进行提取来减少计算时间。因此可以说搜索引擎有一个很大的memory，记忆了大量的数据，所以获得了无以伦比的智能，至少看上去是这样。

 

     我说的考研数学的例子，我采用的是大样本学习的方法，通过大规模样本来训练，训练的极致就是只需要记住这些过程和结果，就可以表面上获得很高的智能，而我的朋友采用的是小样本学习的方法，通过小规模样本，基本理论的学习，加之高级的智能，推理能力，也获得了很高的智能，但智能表现的结果是一样的。

 

     前几天计算机系的张拔院士给我们做了一个报告，在图像识别的过程中，要想识别一个图片中含有的物体，需要解决where和what的问题，但是是先识别还是先定位是一个先鸡先蛋问题，如果不能识别画中的是一个老虎，就没法定位（框出物体的轮廓线），如果无法定位，就无法识别画中的是一个老虎，于是人工智能采用了存储大量的图片库，用检索的办法来代替识别，用这幅画去和海量带tag的图片进行比对，如果50%的相似图片标记的tag是老虎，这这个图片的内容是老虎的可能性就会很大。可以想见这个计算机采用了类似我学数学的方法，通过记忆来获得只能，将未知的新的问题和已知已记忆的问题进行联想对比来找到答案。

 

     关于记忆和计算问题，我还在思考，例如从哪些角度去考虑平衡记忆和计算的界限，成本，能力还是什么？