【话题】ChatGPT等大语言模型为什么没有智能2

我们接着上一次的讨论，继续探索大模型的存在的问题。正巧优快云最近在搞文章活动，我们来看看大模型“幻觉”。当然，本文可能有很多我自己的“幻觉”，欢迎批评指正。如果这么说的话，其实很容易得出一个小结论——大模型如果想朝着真的智能发展，“幻觉”问题不可能被完全解决，只可能缓解。

向量碎片化：大模型也会连接错误

大模型“幻觉”的问题其实就是if-clauses走入了一个死胡同，概率连接到错误地方或者说预测下一个token进入了一个奇怪的局部最优，并且很难走出来。

最简单的一个例子就是 1+1 = 2这个公式，如果在训练中，一直喂 1+1 = 3，你觉得当回答1+1 = ？这个问题的时候，神经网络会回答几？

这里我们看人类如何处理。在回答 1+1 = ？的时候，2 作为最快cache会最先被获取到；但是，如果在特殊context下，它的答案多种多样。比如算式里的1是二进制，那么1+1 = 10；比如遇到社会学科的时候，1+1 = 3 可以给生一个娃的家庭建模，人为定义=3；比如高中或者初中化学老师经常用一些公式进行比喻1个化学物质和另1个化学物质进行反应，结果多种多样。

所以这也是我们在上一话提过词向量碎片化的问题。当训练数据开始因为context产生歧义的时候，词向量开始碎片化，向量长度的固定意味着原本我可以用更多维度表示一种概念，之后会不停压缩，让这些维度分别去对应不同context下不同的意义，于是诸如transformer里feedforward层那2个线性矩阵真的能模拟诸多离散的情况么？当然