永结无间Ⅱ--大语言模型最终会代替人类吗？

涵盖的主题

• 当前大语言模型的缺点
• 为何大语言模型 (LLM) 缺乏常识？
• 自主智能的架构
• 相信超级智能的人的说法
• 源于对智力误解的错误推理
• 环境对个人智力有严格限制
• 智力是外在的，存在于文明发展之中
• 无论人工智能变得多么聪明，它都无法扩展
• 递归式自我改进系统
• 下一代人工智能系统是什么样的？
• 人类大脑的智能设计
• 概括

当前大语言模型的缺点

首先，我想谈谈我在上一篇博客中对 LLM 的优点和缺点的论述。这是一个很好的起点，可以让我们进一步展开讨论。

1. 大语言模型的回答非常笼统。当被要求给出细致入微的立场时，他们表现得很糟糕。
2. 当你要求它发表一些不受欢迎的观点时，它会惨败，尤其是当它是政治上不正确的观点时。
3. 他们无法从不同角度撰写文本，尤其是从反派或坏人的角度。
4. 他们擅长抄袭风格，但写出的内容却平庸无奇。人工智能研究人员对这种行为感到惊讶，我们原以为抄袭风格对于大语言模型来说很难，但实际上，抄袭风格很容易，但模仿论证水平和逻辑流程对于这些系统来说要难得多。
5. 由于它没有信仰体系，所以它无法区分好的和坏的结论。
6. 它不知道何时停止。大语言模型无法进行自我反省，它只是表面上在反省。
7. 当我们谈论多目标问题时，它们真的很糟糕。
8. 如果你问他们一个非常著名的问题的不同版本，他们通常会给出错误的答案。例如第 n 次轮换或农民、山羊和草的问题。
9. 如果你问他们，“你确定吗？”他们会改变答案。
10. 它们可能不是统计鹦鹉，但它们并不像我们想象的那么聪明。它们更可能是一种风格（有时包括智能行为和过程）的复制机器，具有一些理解能力。
11. 它们非常适合创意生成。在 LLM-Modulo 框架中可能效果很好。
12. 当我开始对训练数据的极端情况进行操作时，他们确实遇到了很多困难。
13. 它们非常适合重复的日常任务。
14. 它们可以很好地帮助查找某些内容并纠正给定文本中的语法错误。
15. 当遇到难题时，他们会不断重复相同的答案，尽管他们明确要求他们更改答案。感觉他们陷入了循环。

我希望你们大多数人都相信这里关于 LLM 有效性的大多数观点。让我们继续讨论下一件事，即 LLM 浪费资源和缺乏常识。

为何大语言模型 (LLM) 缺乏常识？

当前 AI 系统（包括大型语言模型 (LLM)）的主要问题之一是，它们通过逐像素或逐标记的方式生成输出来处理生成任务。这种方法计算成本高昂，而且不一定与人类处理信息的方式一致。

根据 Yann LeCun 的说法，从逐像素或逐个标记的生成转向潜在空间中的预测可能会解决当前人工智能系统中的常识推理问题和资源效率低下的问题。

这种逐像素生成的世界并没有掌握世界的底层结构和概念，而只是关注如何获得正确的颜色和形状，这就是这些系统正在优化的，这也是它们不智能的原因。

但是如果模型学会在潜在空间中保持一致，它们可能会在更深层次上理解事物，在输入中改变一些东西不会彻底改变模型的输出，这似乎是当前模型的情况。

让我们尝试理解潜在变量在理解现实世界中的作用。

想象一下，你正在看着一辆车驶近岔路口，但你眨眼间就错过了它要走的路。为了猜测它是左转还是右转，你可能会使用直觉或本地知识。在人工智能和机器学习中，我们用“潜在变量”来处理这种情况。这个变量代表看不见的决定——汽车是左转还是右转。模型使用这个潜在变量进行预测，即使没有直接看到选择。

如果没有潜在变量，如果模型在训练过程中看到一辆车从同一入口点左转，另一辆车右转，它可能会平均结果并预测直行，这是一个错误的选择。这凸显了当前系统缺乏常识推理。

当前的 LLM 系统完全浪费资源进行像素完美预测，而不是理解数据的底层结构，然后使用其他更简单的模型来填充其余细节。阅读下面的文章以更详细地了解 JEPA 架构。它讨论了潜在空间中的模式崩溃和预测。

自主智能的架构

LLM 本质上是相当单一的，为了实现下一组智能功能，它们需要具有模块化，其中系统的不同部分专门设计用于处理特定任务并仅将相关信息传达给其他部分。