第2章 大模型的能力

 

2.1 概述

• 本章探讨GPT-3的多种能力，基于其在标准NLP基准测试和特定任务中的表现。
• 结果显示，GPT-3在一些任务上表现优异（如语言建模），但在其他任务中落后于大量标签数据支持的系统。
• GPT-3并未特别针对任务进行训练，但通过上下文学习即可在多种任务中表现良好，展示出其广泛的适应能力。

---

2.2 语言模型的适应性

语言模型到任务模型的转化

任务适应方法：

1. 训练：通过微调等方式更新模型。
2. 提示学习：
   • 零样本学习（Zero-shot）：无例子，仅描述任务。
   • 单样本学习（One-shot）：提供一个例子帮助理解任务。
   • 少样本学习（Few-shot）：提供多个例子，效果更优。

提示学习依赖于模型的上下文长度限制（如2048 tokens），是当前GPT-3适应任务的主要方式。

---

2.3 任务表现分析

2.3.1 语言建模

• **困惑度（Perplexity）**衡量模型预测的平均不确定性，值越低表示性能越优。
• 结果：
  • Penn Tree Bank：GPT-3困惑度为20.5，优于BERT等现有