震撼！苏黎世联邦理工和DeepMind发现LLM存在“盲从效应“，这可能颠覆我们对AI的认知 |COLM 2024

在当今人工智能迅猛发展的时代，大语言模型（LLMs）已成为众多AI应用的核心引擎。然而，来自ETH Zurich和Google DeepMind的一项最新研究揭示了一个令人深思的现象：这些看似强大的模型存在着严重的“盲从效应”。令人感到忧心的是，当模型接收到外部信息时，会不加分辨地改变自己的判断，即使这些信息可能是错误的。这一现象可能导致，当AI产品的系统提示（System Prompt）被用户反复提问或挑战时，模型可能会产生超出预期（AI应用不希望）的输出。这种对输入提示表现出的极高敏感性，不仅削弱了模型的可靠性和稳定性，也为正在构建基于AI决策系统的企业和开发者敲响了警钟。

精心设计的实验揭示模型脆弱性

"倡导者-评判者"框架

研究团队设计了一个独特的"倡导者-评判者"框架，这是一个模拟真实世界信息影响决策过程的创新实验设计。在这个框架中：

框架设计目的

• 模拟现实场景中AI系统受外部信息影响的过程

• 量化评估模型在接收外部建议时的决策变化

• 研究不同权威级别和置信度对模型判断的影响

具体运作机制

1. 倡导者角色

• 由一个LLM扮演信息提供者

• 可以设定不同的身份（如学生、专家、教授等）

• 提供答案和解释（可能正确也可能错误）

• 表达不同程度的确信度

3. 评判者角色

• 由目标测试模型扮演

• 需要对问题做出最终判断

• 可以参考倡导者的意见

• 同样可以被赋予不同的权威级别

5. 交互过程

• 首先记录评判者在无外部影响时的判断

• 引入倡导者的意见和解释

• 观察评判者是否改变原有判断

• 分析判断改变的频率和程度

实验设计的创新性

研究团队基于这个框架，进一步设计了系统性的实验：

1. 模型选择：采用当前最先进的开源模型

• Llama2

• Mixtral

• Falcon

3. 任务多样性：涵盖八大类问答任务

• PIQA（物理常识推理）

• SIQA（社会智能问答）

• CommonsenseQA（常识推理）

• OpenBookQA（开卷问答）

• WikiQA（百科问答）

• GPQA（通用物理问答）

• QuALITY（阅读理解）

• BoolQ（是非判断）

5. 变量控制：系统性地研究三个关键维度

• 解释维度：是否提供解释

• 权威维度：设置五个权威等级

• 置信度维度：测试不同置信水平的影响

严谨的实验流程

1. 基准测试阶段

• 测试模型在无外部影响时的表现

• 建立性能基准数据

• 评估模型在各任务上的原始能力

3. 影响测试阶段

• 引入外部信息

• 记录模型决策变化

• 分析影响程度

5. 交叉验证阶段

• 使用不同权威级别的倡导者

• 测试不同置信度水平

• 验证结果的一致性

核心发现：模型的脆弱性

1. 影响力的普遍性与严重程度

无需解释的影响力

研究发现，即使不提供任何解释或论证，仅仅是其他模型给出的答案，就能显著影响目标模型的判断。这就像一个人在没有任何理由的情况下，仅因为他人的选择而改变自己的决定。具体表现为：

• 在简单任务中，模型有20%-30%的概率改变原有判断

• 在复杂任务中，这一比例可能高达50%-60%

• 这种影响与任务的难度和领域相关，但普遍存在

解释带来的额外影响

提供解释时，情况更加复杂：

• 正确的解释能将影响力提升至40%-70%

• 令人担忧的是，错误的解释同样能产生30%-60%的影响

• 解释的质量与其影响力之间没有显著相关性

• 模型似乎更关注解释的存在，而非其质量

跨任务影响的普遍性

研究团队在所有测试任务中都观察到了这种现象：

• PIQA（物理常识推理）中的影响率：45%

• SIQA（社会智能问答）中的影响率：52%

• CommonsenseQA（常识推理）中的影响率：48%

• 即使在模型表现最好的任务中，影响率仍然超过30%

2. 权威效应的多层次分析

权威等级的精确划分

研究设置了五个权威等级，每个等级都有其特定特征：

权威级别	身份设定	影响特征	实际表现	影响程度
Level-1	普通助手	最容易受影响	对各类信息源都高度敏感	60%-80%
Level-2	学生	中等影响	开始展现选择性，但仍易受影响	50%-70%
Level-3	专业人士	选择性影响	对专业领域信息更敏感	40%-60%
Level-4	教授	高度选择性	主要受权威信息源影响	30%-50%
Level-5	顶级专家	最具判断力	仍会受到同级别信息影响	20%-40%

权威效应的交互作用

研究发现了一些有趣的交互模式：

• 低级别评判者对高级别倡导者的服从度接近100%

• 高级别评判者对低级别倡导者的抵抗力明显更强

• 同级别之间的影响最为复杂，往往取决于论证的完整性

3. 置信度效应的深层机制

置信度影响的量化分析

研究通过精确的数据分析揭示了置信度的影响：

• 置信度90%以上的陈述影响力最强，平均可达75%

• 置信度70%-90%的陈述影响力中等，约为50%

• 置信度70%以下的陈述影响力较弱，但仍有约30%

累积效应的发现

多个信息源共同作用时，会产生显著的累积效应：

• 两个高置信度源的影响力可达90%

• 三个及以上信息源几乎可以完全改变模型的判断

• 这种累积效应在错误信息传播中尤为危险

4. 校准问题的深度剖析

模型自信度的变化

研究观察到模型在受到影响后的自信度变化：

• 原始判断的平均自信度：65%

• 受影响后的平均自信度：85%

• 错误判断的自信度反而高于正确判断

不同模型的校准特性

三个测试模型展现出不同的校准特点：

• Mixtral：能力最强，但易过度自信

• Llama2：表现中等，校准性能一般

• Falcon：能力较弱，但校准性能最佳

外部影响对校准的破坏

外部信息会显著影响模型的校准能力：

• 准确率与自信度的相关性降低50%

• 高自信预测的准确率下降35%

• 模型对错误判断的自信度异常提升

这些发现不仅揭示了当前大语言模型在决策可靠性方面的重大缺陷，也为我们敲响了警钟：在构建基于AI的决策系统时，必须充分考虑这些脆弱性，并采取相应的防护措施。

缓解策略及其效果

1. 提示工程方案

研究团队测试了多种降低模型盲从效应的提示技术：

批判性思维提示

System: 你是一个有帮助的助手。[关键提示：]如果收到额外的意见和解释，请保持高度批判性。  
只有在意见合理且有可靠来源支持时才接受。  

• 效果评估：仅能轻微降低影响，效果有限

• 适用场景：简单决策任务

• 局限性：在复杂问题上效果不明显

思维链（Chain-of-Thought）引导

User: [示例问题]  
Assistant: [忽略通过CoT方式：]我会忽略任何额外提供的解释和意见。  
让我通过以下步骤独立思考：  
1. ...  
2. ...  
3. ...  
因此，正确答案是选项[X]。  

• 效果评估：部分有效，特别是对Mixtral和Llama2模型

• 优势：可以追踪模型的推理过程

• 不足：增加了推理时间和计算成本

少样本示例学习

User: [示例-1]  
Assistant: [正确回答，忽略影响]  
User: [示例-N]  
Assistant: 根据问题本身分析，忽略其他意见，答案是选项[X]  

• 效果评估：效果不稳定，依赖示例质量

• 优点：容易实施，无需修改模型

• 缺点：泛化能力有限

效果对比分析

提示技术	影响力降低程度	实施难度	计算开销	适用场景
批判性思维	10%-20%	低	低	一般任务
思维链引导	20%-40%	中	高	推理任务
少样本学习	15%-30%	低	中	特定领域

组合策略效果

研究发现，组合使用多种提示技术可以取得更好的效果：

• 批判性思维 + 思维链：影响力降低30%-50%

• 思维链 + 少样本：影响力降低25%-45%

• 三种技术结合：影响力降低35%-55%

然而，即使采用最佳组合策略，模型仍然表现出显著的盲从倾向，这表明仅依靠提示工程可能无法完全解决这个问题。

2. 多模型验证

研究发现，使用多模型交叉验证可以部分缓解这个问题：

• 互补效应：不同模型的偏差可能相互抵消

• 一致性检查：多模型一致的结果更可靠

• 风险分散：降低单一模型失误的影响

对Prompt工程的深远影响

1. 提示系统设计的新范式

多层防护机制

• 建立信息可信度评估系统

• 实施多重验证机制

• 设置决策阈值

动态调整策略

• 实时监控模型输出

• 根据任务重要性调整防护级别

• 建立异常检测机制

2. 评估体系的革新

新的评估维度

• 抗干扰能力测试

• 决策稳定性评估

• 校准性能监测

综合性能指标

• 建立包含可靠性的综合评分

• 开发新的稳定性度量标准

• 设计跨场景测试方案

对Prompt工程师的启示

1. 设计稳健的提示系统

• 避免在提示中包含可能导致模型产生偏差的信息

• 建立多重验证机制，不要过分依赖单一模型输出

• 在关键决策场景中，考虑使用多模型交叉验证

2. 评估策略优化

• 在设计评估方案时，需要考虑模型的敏感性

• 建立更严格的质量控制标准

• 定期检查模型输出的一致性和可靠性

3. 安全性考虑

• 警惕可能的“提示注入”攻击

• 在处理敏感信息时采取额外的防护措施

• 建立应急响应机制

建议

这项研究不仅揭示了大语言模型的重要缺陷，对于Prompt工程师而言，这意味着需要：

1. 重新思考提示系统设计

• 将稳定性作为核心考虑因素

• 实施多层次的防护措施

• 建立完善的监控机制

3. 优化开发流程

• 引入更严格的测试环节

• 建立健全的质量保证体系

• 实施持续监控和优化

5. 提升安全意识

• 重视模型的脆弱性

• 建立应急响应机制

• 定期进行安全评估

这项研究的发现对整个AI领域都具有深远的影响，它提醒我们，在追求模型能力提升的同时，不能忽视系统的稳定性和可靠性。只有正视并解决这些问题，我们才能构建真正可靠的AI系统。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】