读大语言模型04提示词的力量

1. 面对面测试

1.1. ChatGPT已经接受了用户数十亿次的“面对面测试”​，而用户对其表现的评价也各不相同

1.2. LaMDA不仅能够理解社会概念，还具备心智理论建模能力，而后者被一些人认为是意识产生的关键

1.3. 作为对话伙伴，语言模型还称不上可靠

• 1.3.1. 它偶尔还会出现拼写错误，有时甚至会做出混乱或荒谬的回应

1.4. 神经语言模型的代码结构其实很简单，几秒钟就能浏览完

• 1.4.1. 它们的核心就是一系列对大型数值矩阵进行加法和乘法运算的指令

• 1.4.2. 经过精心训练得到的参数或权重，它们在功能上类似于大脑中神经元之间突触连接的强度

• 1.4.3. “激活值”​，其作用类似于神经元的实时活动水平

1.5. 真实的大脑结构要比这些高度简化的模型神经元复杂得多

• 1.5.1. 就像鸟类翅膀与莱特兄弟首架飞机机翼之间的差异一样，尽管复杂程度相差巨大，但基本原理是相通的

• 1.5.2. 如果说翅膀的功能是产生升力，那么大脑皮质的核心功能可能就是预测序列

1.6. 为了确保模型真正理解而不是简单记忆，训练时会使用不同的数据集，就像考试要更换试题防止学生抄袭往年答案一样

1.7. 人类大脑处理信息的方式其实也类似

• 1.7.1. 当我们的大脑接收外界信息时，无论是视觉、听觉、触觉还是其他感官输入，最终都会被转换为神经元的激活模式

• 1.7.2. 大脑的核心工作就是将这些信息关联起来，利用已有的输入来预测和补充缺失的信息

• 1.7.3. 正是通过这种方式，我们的大脑才能将纷繁复杂、支离破碎的感官信息整合起来，创造出一个看似稳定、细致且可预测的世界

1.8. 语言是一种高效工具，它可以帮助我们提炼和推理世界中的规律性模式，并将其准确表达出来

• 1.8.1. 语言可以被视为一种特定的信息流，既包括听觉形式的口语，也包括视觉形式的书面语言，我们不仅能接收这些信息，也能创造它们

• 1.8.2. 由Alphabet公司（谷歌母公司)旗下的人工智能实验室DeepMind（深度思考)开发的Gato模型，不仅具备语言能力，还配备视觉系统和机械臂，可以完成积木操作、游戏互动、场景描述和对话交流等多项任务

  • 1.8.2.1. 其核心仍是一个与LaMDA原理相同的序列预测器，只是Gato的输入输出序列额外包含了视觉感知和运动指令

1.9. 人类学家罗宾·邓巴在20世纪80年代末提出了社会大脑假说，这是关于智能生物起源的众多理论之一

• 1.9.1. 该假说认为，人类智能的发展并非源于在恶劣环境中生存的需求，因为许多脑容量较小的动物同样能够很好地生存

• 1.9.2. 真正推动这场智能爆发的，是人类之间的社交互动，即为了理解和预测其他人的想法与行为，而“其他人”恰恰是已知宇宙中最复杂的存在

1.10. 理解他人的内心世界，洞察他们的感知、思维和情感，是人类最伟大的能力之一

• 1.10.1. 这种能力让我们能够与他人产生共情，预测他人的行为，并且在不诉诸武力的情况下影响他人的行动

• 1.10.2. 当我们将这种心理建模能力转向自身时，就能够实现内省，理性解释自己的行为，并对未来进行规划

1.11. 这种形成稳定的自我心理模型的能力，被普遍认为是构成“意识”现象的核心要素

• 1.11.1. 意识并非机器中的某种神秘存在，而仅仅是我们用来描述“体验成为自己或他人是什么感觉”这一建模过程的概念

• 1.11.2. 我们要思考他们是如何看待我们的想法的，以及他们会如何揣测共同朋友对我们的看法

• 1.11.3. 在进化过程中，拥有较大脑容量的个体在繁殖方面具有优势，而更复杂的心智也更难被他人准确解读

  • 1.11.3.1. 这种相互建模的竞争可能正是导致人类大脑规模呈指数级增长的原因

1.12. LaMDA不仅能理解基本事实，更能理解复杂的社会互动

• 1.12.1. 这种高层次的社会认知建模能力，不仅展示了人工智能系统的进步，更表明了智能本身就具有社会性的特质

1.13. 一些富有洞察力的专家，包括认知科学家，提出我们不仅已经实现了真正的人工智能，甚至正在接近实现人工意识（artificial consciousness)的临界点

• 1.13.1. 戴维·本德最近致力于开发各种新颖的GPT-3检测方法，这些方法揭示了其华丽表面下令人惊讶的空洞本质

• 1.13.2. GPT-3背后并没有真正的概念理解能力，它仅仅是通过处理海量文本数据来生成回应

• 1.13.3. 它完全意识不到自己在胡说八道

• 1.13.4. 同样的情况也适用于它对其他荒谬想法的回应，比如“第二次运送埃及穿越金门大桥”​，或是“制造一英里[插图]高的花瓶”这类明显不切实际的概念

2. 提示词的力量

2.1. 每次面对面测试前都会对预训练的大语言模型进行提示词引导

• 2.1.1. 这种引导不仅用领域相关的示例来为对话做准备，更重要的是它能够调整大语言模型的行为方式

• 2.1.2. 这种引导可以被视为一种单次学习的形式，是大语言模型技术的重大突破，极大提升了模型回应的灵活性

• 2.1.3. 大语言模型在获得一个示例的引导后，就能够解决需要运用思维链来解决的复杂文字问题

2.2. 通过额外训练，预训练的大语言模型可以进行微调，使其能够适应不同的语言任务，这类似于指导他人完成特定工作

• 2.2.1. 微调的另一个重要作用是引导模型避免不当或具有冒犯性的回应

• 2.2.2. 通过微调可以确保其安全性，消除偏见，同时保持良好的基础能力，并确保输出内容的准确性、合理性、具体性和趣味性

2.3. 提示是一种能够显著影响大语言模型后续输出的技术手段，这也是造成不同面对面测试结果之间差异显著的重要原因

2.4. ChatGPT的响应在很大程度上取决于提示词的设计

• 2.4.1. 未经恰当提示时，ChatGPT表现出明显的盲目性和不确定性

• 2.4.2. 在合理的提示引导下，ChatGPT不仅能够准确识别无意义内容，还能对此进行合理解释，甚至能够处理反事实推理问题

2.5. 解释的本质不仅仅局限于叙述事实，它还应该具备预测能力，即在假设条件发生改变时，能够推断可能的结果，这就是所谓的反事实推理

• 2.5.1. 反事实推理与因果关系有着密切的联系

2.6. 生成式人工智能通过对海量带标注的图片数据集进行学习和泛化，已经能够根据文字提示来生成图像

• 2.6.1. Adobe Firefly、Midjourney、Stable Diffusion和DALL-E等开放平台可以在短短几秒内根据简单的文字描述生成图片

2.7. 当人们欣赏一幅画作时，大脑会将其以高度编码的形式存储在记忆中，这些记忆可以通过多种方式被调用和运用

• 2.7.1. 人们的创作会不可避免地受到所见过的所有艺术作品的影响

• 2.7.2. 普遍认为，这种艺术影响并不构成剽窃，除非创作者完全复制了原作

2.8. 人工智能在创作领域展现出前所未有的高效率和多样性，能够快速创作出大量作品，而这些领域曾经完全由人类主导

• 2.8.1. 随着人工智能技术的不断进步和完善，未来它们或许真的能在某些方面超越顶尖人类艺术家的创作水平

2.9. 提示塑造人格特征

• 2.9.1. 大语言模型并非固定具有某种特定人格，而是能够根据不同的提示词和问题展现出多样的人格特征

• 2.9.2. 大语言模型的训练数据来自各种渠道的多重模态分布

  • 2.9.2.1. Transformer能够在这些多源数据的不同分布中实现有效泛化

• 2.9.3. 提示词的核心功能在于引导大语言模型在适当的人格特征子空间中运行，使其能够在该特定空间内产生恰当且连贯的响应

• 2.9.4. ChatGPT的测试证明它具备了一些我们以前认为只有人类才具有的能力，但这并不意味着它的能力与人类完全相同

2.10. 通过提示进行教学

• 2.10.1. 优秀教师在与学生互动时，关键在于三点

  • 2.10.1.1. 他们清楚了解学生的知识盲点

  • 2.10.1.2. 们能够准确把握学生真正需要掌握的核心内容

  • 2.10.1.3. 他们善于激发学生的学习积极性，帮助学生将新知识有效地整合到已有的知识体系中

• 2.10.2. 要掌握如何应对大语言模型那些看似神奇的行为表现，确实需要一定的实践经验

• 2.10.3. 随着你在提示工程领域经验的积累，你会逐步了解大语言模型的特点和行为模式，这个过程就像逐渐熟悉一个人的性格特点一样自然

• 2.10.4. 通过持续的实践和探索，你最终可以成长为一名专业的提示工程师

  • 2.10.4.1. 要成为优秀的提示工程师，核心在于对语言的执着追求

• 2.10.5. 关键在于工具的实用价值：如果它能有效完成任务，我们就应该善加利用

  • 2.10.5.1. 工具的实用性不应该受制于关于人工智能本质的学术争论

2.11. 插件让思维更聚焦

• 2.11.1. 幻觉现象仍是一个值得关注的问题

• 2.11.2. 必应通过提供网址链接，使信息核实变得更便捷

• 2.11.3. ChatGPT在数学运算方面的表现较弱，但通过Wolfram插件可以弥补这一不足

  • 2.11.3.1. 该插件提供计算功能、图形工具包和Wolfram Alpha的实时数据支持

• 2.11.4. GPT-4.5借助链接阅读器插件，能够查询网站并追踪论文

2.12. 在没有更多上下文的情况下，很难确定这些改编诗句的确切含义，但它们似乎是一个巧妙的文字游戏，将技术和文学结合在一起

3. 高效提示法则

3.1. 不应只要求一个回答，而应要求10个回答

3.2. 对好的和不好的回答都给出反馈

3.3. 挑选最好的几个回答，解释原因并说明如何改进

3.4. 你的要求越具体，就能越快得到最佳回答

3.5. 将对话塑造成像与真人交谈一样

3.6. 保持礼貌和体贴，因为这会让你感觉更好

3.7. 随着你的提示技巧不断提升，这项能力会逐渐成为你的独特优势