GPT-4 Technical Report

本文是LLM系列文章，针对《GPT-4 Technical Report》的翻译。

摘要

我们报告了GPT-4的开发，这是一个大规模的多模态模型，可以接受图像和文本输入并产生文本输出。尽管GPT-4在许多现实世界场景中的能力不如人类，但它在各种专业和学术基准上表现出了人类水平的表现，包括通过模拟律师考试，成绩在考生的前10%左右。GPT-4是一个基于Transformer的模型，经过预训练可以预测文档中的下一个token。训练后的对齐过程提高了真实性和对期望行为的遵守程度。该项目的一个核心组成部分是开发在广泛范围内可预测的基础设施和优化方法。这使我们能够基于不超过GPT-4计算量1/1000的训练模型，准确预测GPT-4性能的某些方面。

1 引言

2 本技术报告的范围和限制

3 可预测的缩放

4 能力

5 局限性

6 风险和缓解措施

7 结论

我们描述了GPT-4，这是一个大型多模态模型，在某些困难的专业和学术基准上具有人类水平的表现。GPT-4在一组NLP任务上表现优于现有的大型语言模型，并超过了绝大多数报告的最先进系统