有句话说:“人们往往高估新技术的短期影响,却低估其长期影响。” 但我感觉对新技术轻率地不屑一顾的人好像也很多,这是一种值得研究的现象。
比如无论大模型的表现多么突出,有些人总是说大模型只会“鹦鹉学舌而已”,只是“预测下一个单词”而已,大模型永远也不会“真的理解”,不是”真的会推理“。当o1在数学、物理等学科上成绩提高了这么多,还有不少人觉得o1只是一个高级的prompt技巧。
这还是在号称高智群体最密集的推特上观察到的现象,其他群体的比例估计会更高。
本文试着来探讨一下产生这种现象的原因以及避免产生这种现象的方法。
为什么我们对新技术会轻率地不屑一顾呢?我做了不少观察,发现是因为我们脑子里有很多旧的瓶子,碰到新酒的时候总喜欢把它往旧的瓶子里装,装完了一看瓶子说,这不还是那个旧东西吗。
但这还是比较表面的现象,更深层次的原因是我们对瓶子的观念是固化的。
举个例子,我们对大模型不屑一顾,表面上是因为我们认为大模型还是模式匹配和鹦鹉学舌,更深层次原因是因为我们认为模式匹配和鹦鹉学舌永远产生不了真的理解、真的推理和真的智能。这里模式匹配和鹦鹉学舌是瓶子,认为模式匹配和鹦鹉学舌永远产生不了真的理解、真的推理和真的智能是对瓶子固化的观念。
说大模型还是模式匹配和鹦鹉学舌有没有错?我认为不能说错,因为大模型确实还是从极大量的语料中学习,即便o1的提升也是因为学习了大量高质量的思维链语料。
所以,关键是要反思模式匹配和鹦鹉学舌永远产生不了真的理解、真的推理和真的智能的观念真的有依据吗?其实我们并不知道这个观念的依据,只是对以往技术水平的一种经验观察而已。
分析了原因,再探讨下怎么避免。
首先,我们应该尽量避免那些暗示性和具像化很强的词汇。比如鹦鹉学舌的暗示性就太强,我们不可能接受鹦鹉学舌能产生真正的理解,我们要换成模式匹配这样比较中性、比较抽象的词。
其次,我们要搞清楚我们对一个瓶子不能做什么的观念是来自于理论证明还是经验观察,因为如果是来自于经验观察的话,当新的经验表明瓶子可以做以往认为不能干的事,我们就知道要修正对瓶子的观念了。
再次,就算有理论证明仍然不能轻率的忽视新技术,因为新技术即便没有理论上的突破,也可能有巨大的实用性上的突破。比如o1的推理因为是基于思维链语料训练的,理论上没法很好的做到在解决方案空间内充分搜索,理论上讲o1会在搜索时会出现丢三落四的现象。但因为o1的思维链语料非常大,实际上o1已经展现了很好的搜索能力,我在使用的时候发现我几乎找不到一个问题我能有比o1明显更高的搜索能力(因为我们人类也不擅长搜索)。
尽量不要把瓶子定义的那么具像化,多用新的经验来修正对瓶子的观念而不是用对瓶子的旧观念来忽视新的经验,不要只关注理论突破而忽视实用性突破,才能比较好的避免对新技术轻率地不屑一顾的现象。
这可以作为面对新技术的一个checklist。