复旦NLP团队新作：大规模语言模型从理论到实践PDF版

2022 年 11 月，Chat GPT 的问世展示了大语言模型的强大潜能，并迅速引起了广泛关注。Chat GPT 能够有效理解用户需求，并根据上下文提供恰当的回答。它不仅可以进行日常对话，还能够完成复杂任务，如撰写文章、回答问题等。

令人惊讶的是，所有这些任务都由一个模型完成。在许多任务上，ChatGPT 的性能甚至超过了针对单一任务进行训练的有监督算法。这对于人工智能领域具有重大意义，并对自然语言处理研究产生了深远影响。

今天给小伙伴们分享的这份手册有点高端，整体围绕大语言模型构建的四个主要阶段：预训练、有监督微调、奖励建模和强化学习，详细介绍各阶段使用的算法、数据、难点以及实践经验。

限于文章篇幅原因，只能以截图的形式展示出来，有需要的小伙伴可以文末获取↓↓↓

目录

内容

第1章 绪论

本章主要介绍大规模语言模型