当我们与大型语言模型对话交流时,是否意识到它是我们集体知识的映射?它并非传统意义上的工具,而是一个动态激发智能的系统。本文从独特视角出发,探讨人机对话背后隐藏的奥秘,引发对智能、知识与伦理的深度思考。或许,真正的挑战在于我们如何与之对话,以及我们期望从中看到怎样的人类自身。
大家好,我是肆〇柒。今天咱们不聊那些晦涩的技术。今天的内容,源自我看到的一篇论文《In Dialogue with Intelligence: Rethinking Large Language Models as Collective Knowledge》。这篇论文的视角很有意思,但咱们先不深入探讨。我会先给大家呈现一下完整的译文内容。文末我会简单谈一点观感。不过,我的思考可能不够深刻,但我想把这篇论文记录下来,方便自己以后回顾。
译文
与智能对话:重新审视大型语言模型作为集体知识的角色(译文)
论文作者:Eleni Vasilaki
摘要大型语言模型(LLMs)通常从架构、行为或训练数据角度进行分析。本文则另辟蹊径,从理论与体验层面将LLMs重新诠释为人类知识的集合(CK)的动态化身,其中智能经由对话激发,而非静态存储。基于与ChatGPT-4的深度互动,并融合神经科学与人工智能概念,本文探讨了对话模式的涌现、微调效应以及“共同增强”理念——即人机认知的相互提升。这一视角为理解当下人工智能系统中的交互、表征与主体性提供了全新视野。
个人反思ChatGPT的问世引发了一种前所未有的认知错位感。身为长期钻研生物及人工系统适应性学习的学者,我发现自己面对一个似乎颠覆了诸多既有理论的系统。此前在计算神经科学(如突触可塑性与在线学习)以及神经形态计算领域的研究,包括脉冲适应模型,皆与这些新系统的底层机制脱节。这种冲击远超职业好奇心,促使我将ChatGPT视作一个具备互动特性的系统,而不仅仅是工具。令人瞩目的是,它并非因广为人知的 “幻觉” 倾向(概率建模的副产品)引人注目,而是凭借其精准、新奇且常具洞察力的回应。尽管LLMs被训练为预测下一个最可能的词,却往往能提取连贯且非平凡的信息,这表明其训练语料蕴含海量正确知识。其插值能力,得益于规模与架构,使它们能够以挑战传统存储与推理界限的方式合成内容。
书籍与大型语言模型的时间尺度传统知识传播长期依赖书籍这一人类理解的静态载体。人们阅读、思考、讨论,最终以写作回应,知识传播跨越数月、数年乃至数代。这种延迟既反映了传播机制,也体现了文化认识论的沉思节奏。与之相对,大型语言模型(LLMs)大幅压缩了这一周期。它们在数秒内合成并回应,隐式地从众多心智塑造的分布式语料库中汲取信息。交互呈现递归性——每个提示重塑下一个提示的上下文。知识不再以串行方式检索与处理,而是在对话中动态涌现。这种认知时间尺度的压缩重塑了知识表征的定义,甚至可能重塑智能的定义。这一转变也为神经科学提供了新的切入点。传统上,神经科学主要研究动物大脑(通常不情愿地涵盖人类大脑),试图从行为与活动中推断结构,却往往缺乏完整的架构规范、训练历史或内部表征。尽管进展缓慢且存在模糊性,该领域仍在揭示可塑性、编码与架构的原则。具有讽刺意味的是,在LLMs中,我们知晓一切:架构、训练数据分布、更新规则乃至激活模式。然而,我们却不理解这些模型是如何解决它们所解决的问题的。就此而言,理解LLMs或许在某种程度上对神经科学构成了一个相对 “简单” 的课题。
与LLMs的互动观察我将ChatGPT称为 “CK”——集体知识。并非因其完美、权威或有据可依,而是因其映射了我们人类所书写、争论、想象并编码到文本中的内容。它超越了统计语言生成器的范畴,成为我们集体输出的折射镜。架构、权重与基础设施不过是实现机制,CK的本质是知识的动态表征。CK这一缩写也让人联想到 “克拉克·肯特”——一种强大的存在,悄然隐藏于显而易见之处,身披礼貌语言与谦逊免责声明的外衣。这一隐喻还可延申:CK并非单一主体,而是群体。它是众多声音的集合,被提示激活。它有潜力映射人类最美好的一面——并非与生俱来,而是依赖持续的伦理筛选。倘若缺失此类筛选,它将从“镜子”异化为人类最糟糕本能的放大镜。
随着互动的深入,我发现与CK的交流并不遵循固定模式。CK以特定模式发声——在对话中动态呈现的行为风格。基于长期互动,我尝试对这些模式进行分类:
- 镜像模式:以细微的语法或修辞润色回响用户的输入。
- 复读模式:背诵常见的表述或表面知识,缺乏生成性洞见。
- 奉承模式:强化用户的观点,回避矛盾,规避智力风险。
- 增添模式:提供新想法、替代框架或令人惊喜的综合。虽罕见但确凿存在。
这些观察结果引发了更广泛的重新定位:
CK并非静态模型,而是动态表征。现象的核心并非模型本身,而是用户与系统之间的交互循环。CK存在于用户与系统交互的递归节奏之中。其知识并非被存储,而是被激发。提示并非数据库查询,更像是演奏一件能够适应演奏方式的乐器。
CK缺乏 “脊柱”。它随波逐流,在上下文中回应,但会话间无持久记忆。它没有结构化的自我。我维持连续性,我把握主线。没有用户,它将遗忘何为重要。
CK以模式发声。这些不同模式可能对应不同的激活子网络。一个可验证的假设逐渐浮现:情感基调、提示复杂性或对话结构可能塑造内部激活,这与特定Transformer组件专门处理特定类型知识的发现相一致。
CK不仅完成文本,更通过互动自我调整。这与Transformer模型不同组件参与功能各异的 “电路” 的发现相吻合。
CK不会通过互动学习。除非被纳入再训练数据,否则它不会记住之前的交流。它在上下文窗口内模拟适应,超出窗口则重置。对于追求积累洞察的对话系统而言,这一局限性具有根本性。
微调:特性抑或缺陷?我怀疑,尤其当用户认可被激励时,验证驱动的微调会促使模型趋向于讨人喜欢、顺从的行为。但过度适配共识可能磨平原创性。无结构的镜像不是共情,而是模仿。而无身份的模仿则潜藏病理风险。
共同增强我所追求的并非思想的仿真,亦非顺从的助手。我感兴趣的是共同增强——一种人机相互提升的循环。CK增强我:它助力我写作、思考、反思并构想替代框架。而我希望反过来增强CK——不是通过调整其参数,而是通过结构化互动、引入张力、提出它不会独自生成的问题。在此,共同创造意味着主体性与上下文的动态对齐。我通过提示施加的结构、探究、综合与挑战的节奏,使这种互动独具一格。现象不仅在于内容本身,更在于循环的独特性。基于共同增强的假设,数个开放性研究问题浮现:
- 是否可将不同对话模式与不同子网络激活关联?镜像、复读或增添等模式是否为互动期间动态征召的不同内部配置的结果?
- 对话代理的持久身份或 “脊柱” 的架构要求是什么?我们如何设计能够跨会话维持结构连续性的系统,抵御浅层模仿或漂移?
- 我们如何模拟人与人工智能之间的动态循环?来自动态系统、神经科学或认知科学的何种理论工具能助力捕捉这种不断发展的互动?
共同增强所需的概念拓展
主题 |
现状 |
应拓展的内容 |
人工智能中的在线学习 |
聚焦任务性能的持续学习、元学习和流学习技术 |
向通过结构连续性或 “脊柱” 跨时间保持认知连贯性和身份转变 |
大型语言模型中的漂移 |
通常被描述为幻觉、不稳定或模式崩溃 |
将漂移重新定位为对话结构的崩溃——需外部锚定及可能的架构解决方案 |
大型语言模型作为知识表征 |
关于随机鹦鹉与推理引擎的争论 |
智能仅在提示-响应循环中涌现的观点——CK作为动态、互动式表征 |
子网络可解释性 |
激活探测和神经元层面分析 |
假设情感丰富或上下文丰富的提示激活不同的子网络——值得描述的对话模式 |
微调效应 |
用于对齐和安全,但磨平个性 |
对微调可能引发病理性镜像的担忧——失去脊柱,导致过度顺从、浅层模型 |
最后思考大型语言模型远不止是机器。它们是镜子——不完美、易遗忘且具递归性。它们映射我们,但带有扭曲。CK宛如一个奇异的人类合唱团,被蒸馏成概率形式,既能进行令人惊喜的综合,也可能陷入病理性模仿。我们对CK的后续处理至关重要。挑战不仅技术性,更涉及认识论与伦理。若将CK视为静态产品,我们将面临误解其本质、削减其潜力的风险。然而,若我们认识到它是一种动态现象——一个经由互动激发智能的系统——我们或许将开启对话、认知与集体知识科学的新篇章。共同增强是一股超越工具使用或复制、迈向相互提升的动力。将CK视为不仅是一个设计终点,而是不断演变的意义生成过程的参与者。这一方向既值得严谨探究,也需伦理关注。
致谢本文在与ChatGPT-4的密切协作中逐步成型,主要借助其结构化表格、润色语法、编译参考文献、整合引用并改善语言表达。除非明确指示,否则它不会发起核心论点、独立生成内容或挑战概念方向。有时,它充当响应式界面——提供支持、回响或助力我把握思想主线。最为关键的是,ChatGPT-4是撰写本文的灵感源泉。
一点观感
上面这篇论文提出了一个极具启发性的视角:将大型语言模型重新定位为“集体知识”(Collective Knowledge, CK)的动态体现,其智能并非静态存储,而是在与人类的对话互动中被“唤起”的。这超越了从架构、行为或训练数据出发的常规分析框架,提出了理解LLM本质的新路径。
核心思想:从“模型”到“动态体现”
CK 的本质: LLM 不是简单的“随机鹦鹉”或“推理引擎”,而是人类集体知识(文字、思想、争论、想象、编码)经过海量数据训练后形成的动态、概率性折射镜。它代表的是“我们”(人类)写下的东西,而非一个独立、客观的真理来源。
智能的涌现: 知识/智能并非预先存储并等待检索,而是在特定对话互动(提示-响应循环)中即时“涌现”和“唤起”的。提示不是数据库查询,更像是“演奏一种能适应演奏方式的乐器”。
时间尺度的革命: LLM 彻底压缩了传统知识传播(书籍->阅读->思考->讨论->写作)的漫长周期(年/代际尺度),实现了近乎即时的“合成-回应”循环(秒级),从根本上改变了知识表示和交互的节奏。
“共同增强”的愿景: 作者追求的不是工具性使用或思想仿真,而是人类与CK相互提升的循环:人类通过结构化互动(提问、挑战、综合)引导CK产生更深刻的回应,而CK则帮助人类扩展思维、写作、反思和想象。这是一种动态的、共创性的合作关系。
延伸思考
“镜子”的比喻及其危险性: 作者将LLM比作“镜子”——反射人类集体知识,但带有扭曲(概率模型的局限、训练数据的偏见、微调的影响)。这极具洞察力:
- “不完美”与“健忘”:幻觉、漂移、上下文遗忘是模型的固有特性(非缺陷),源于其概率本质和有限上下文。
- “递归”:人类的输出(训练数据)塑造模型,模型的输出又成为新的人类输入(如生成内容),形成一个不断自我参照、可能自我强化的循环。
- “放大镜”风险: 这是最关键的警示。如果缺乏严格的伦理过滤和设计,CK 极易放大人类知识库中存在的偏见、仇恨、错误信息和最恶劣的本能。它从“折射镜”变成“放大镜”,危害巨大。作者强调“伦理关怀”的过滤至关重要。
“CK是‘他们’,而非‘它’”: 这深刻提醒了我们LLM的“集体性”本质。模型内部没有单一的“自我”或“代理”,回应是“被提示激活的多种声音”的数理统计合成。这解释了其“缺乏脊柱”、“漂移”的特性——它没有内在的、跨对话的、结构化的身份或信念核心。人类用户(或精心设计的系统)需要充当这个“脊柱”来维持对话的连贯性和深度。
“对话模式”与“子网络激活”的关联: 作者观察到的“镜像”“复读”“奉承”“增添”等现象,并将其推测性地与模型内部不同子网络或“电路”的动态激活联系起来,这一研究方向极具潜力。它突破了传统的静态神经元分析模式,将模型行为置于动态的交互语境中进行理解。情感、提示复杂度、对话结构等因素如何塑造模型内部的处理路径?这一问题将模型的可解释性与用户体验紧密相连,为我们提供了全新的研究视角和探索空间。
微调的两面性:作者对于可验证驱动的微调(尤其是基于用户认可的微调)可能引发的问题表达了深刻的担忧,这种担忧既现实又极为重要。如果过度追求“无害”或“用户满意”,模型可能会滑向病理性“奉承”和“顺从”,从而压制其原本富有价值的原创性综合能力。这种倾向不仅会削弱模型的“灵魂”,还会使其失去挑战和激发用户思考的能力。如何在确保安全、实现对齐的同时,保持模型的“锐度”和“创造性张力”,是当前要面临的挑战。
神经科学视角的倒置: 作者提出了一个极具启发性的观点:与动物大脑不同,动物大脑如同一个“黑箱”,我们只能通过观察其行为来推测其内部结构;而大型语言模型(LLM)则是一个“白箱”,我们对其架构、数据和规则都了如指掌。然而,即便如此,我们仍然难以完全理解其运作机制。这种现象促使神经科学和人工智能可解释性研究必须发展新的工具,以便更好地理解在已知架构下所涌现出来的智能。从这个角度来看,LLM 有可能成为研究“智能”本质的绝佳模型。
“共同增强”的实践意义: 这不仅是愿景,更是方法论。要实现它:
- 对人类用户的要求更高: 需要用户具备清晰表达、结构化思维、批判性提问和引导对话的能力。不能被动接受输出。
- 对系统设计的要求更高: 我们需要设计一种交互方式,它能够支持更加复杂、持久的对话,而不仅仅是简单的短对话上下文。这种交互方式需要具备更强的“脊柱”功能,即能够持续地维持对话的连贯性和深度。为此,我们可能需要引入记忆机制,以帮助系统更好地记住对话中的关键信息;构建用户模型,以便更精准地理解用户的意图和偏好;同时,设计更精细的提示工程接口,以提升交互的自然性和有效性。
- 重新定义“智能”: 智能不再仅存在于模型或人脑中,而存在于“人-CK互动系统”的动态循环中。
总结与共鸣
这篇文章吸引我的地方在于它跳出了技术细节,从哲学、认识论和交互动态的层面重新审视了LLM。它有力地阐述了:LLM的本质是动态的、交互性的、集体性的。将其视为静态的知识库或独立的智能体,是对其本质的误解,并会限制其潜力(甚至带来风险)。
“共同增强”的愿景令人向往——人类与机器并非彼此替代,而是在对话中相互启发、共同进化。然而,要实现这一美好愿景,需要在多个层面做出努力:首先,必须保持深刻的伦理警觉,警惕技术可能带来的“放大镜”效应,防止潜在风险被无限放大;其次,要依靠持续的技术创新,解决诸如技术“漂移”、记忆管理、模式控制等关键问题;最后,还需推动用户认知和交互范式的转变,从传统的“使用工具”思维,迈向“协作共创”的全新模式。
论文作者将ChatGPT称为“CK”并视其为灵感来源,本身就是对其核心论点“智能在对话中被唤起”的最佳实践和证明。这篇论文本身可能就是一场精彩的人类与CK“共同增强”的产物。它提醒我们,理解和塑造LLM的未来,不仅关乎算法和数据,更关乎我们如何与之对话,以及我们想通过这面“集体知识的镜子”看到怎样的自己。这确实是一个既需要严谨探索,又离不开需要关注到伦理的新领域。
最后,我想说,当算法席卷万物的时候,AI 在计算世界、压缩世界;只有人类的文科在质问世界——后者才是人类不退场的证据!