[论文阅读] GPT-4 Technical Report

启发：

读了吗，如读，不愧是CloseAI

Abstract

        GPT-4 是一个基于 Transformer 的模型，经过预先训练，用于预测文档中的下一个标记。训练后的对齐过程可以提高事实性和对期望行为的依从性方面的表现。该项目的一个核心组成部分是开发基础设施和优化方法，这些方法在各种规模上的行为都是可预测的。这使我们能够根据计算量不超过 GPT-4  1/1,000 的模型准确预测 GPT-4 性能。

（由于本文不会介绍GPT-4的模型结构、技术细节，而GPT-4性能不用说都知道是很强的，所以真正值得关注的只有GPT-4仍存在的缺陷和文中提出的可预测扩展的深度学习堆栈）

1 Introduction

        GPT-4属于LMM，能够以文本和图像作为输入，输出文本回答。

        本篇报告主要涉及以下内容：

• 展示了GPT-4在各类任务上都能展现出卓越性能；
• 构建了一个可预测扩展的深度学习堆栈，使得我们能够通过小规模的模型训练来准确预测GPT-4的性能；
• 揭露GPT-4依旧存在会出现“幻觉”、上下文窗口大小有限、存在安全隐患等问题，同时也描述了可能存在的隐患以及给出预防措施。

5 Limitations

（1）可靠性：GPT-4仍然存在“幻觉”问题，即生成虚假信息和推理错误。在高风险情境下使用GPT-4的输出时需要格外小心。

（2）有限的上下文窗口：GPT-4在处理长文本时存在限制，它无法像人类那样理解和记忆长篇内容。

（3）无法从经验中学习&#x