随着ChatGPT在2022年11月的问世，大规模语言模型不仅展现了它们在人工智能领域的巨大潜力，而且对自然语言处理（NLP）的研究和应用产生了深远的影响。这一突破性的进展不仅激发了对大模型研究的热情，还标志着科技领域一个新的里程碑。仅仅不到一年的时间里，国内就涌现出近200家致力于大模型研究的机构，展现了一个百花齐放、百家争鸣的壮观景象。时间进入2024年，大模型的热潮不仅没有减退，反而随着OpenAI在年初发布的Sora视频大模型，再次引发了公众和学术界的广泛关注和讨论，进一步证明了大模型技术在当下乃至未来科技发展中的核心地位和不断扩大的影响力。
面对这样一个迅速发展且日益复杂的领域，如何快速理解大模型的理论基础，并有效参与其实践，成为了许多人面临的挑战。为了解决这一问题，《大规模语言模型：从理论到实践》 应运而生。本书由复旦大学计算机科学技术学院张奇教授领衔的团队倾力打造，不仅基于他们在自然语言处理领域的深厚研究经验，还融合了分布式系统和并行计算的教学经验，旨在帮助读者深入理解大模型的原理，并提供实际操作的指导和案例，从而能够快速入门并解决相关的技术挑战。
内容简介
《大规模语言模型：从理论到实践》通过四个主要阶段——预训练、有监督微调、奖励建模和强化学习展开讲解，详细介绍了在每个阶段使用的关键算法、必要的数据处理方法、面临的挑战以及实践中的经验分享。从需要巨量数据和强大计算资源的预训练阶段，到精细化微调、奖励模型构建，再到通过强化学习进一步优化模型性能，本书不仅涵盖了技术的深度，也关注实际应用的广度。
此外，本书还探讨了如何将大语言模型与外部知识源结合，以及如何利用这些模型完成复杂任务和进行效果评估的方法。作为一本既适合初学者入门，也适合高年级本科生和研究生作为教材的书籍，作者团队努力全面呈现大模型研究的各个方面，同时避免了没有广泛共识的观点和结论，确保读者能够在当前快速发展的大模型领域获得坚实的理论基础和实践指导。
作者简介
张奇
复旦大学计算机科学技术学院教授、博士生导师。主要研究方向是自然语言处理和信息检索。兼任中国中文信息学会理事，中国中文信息学会信息检索专委会常务委员，中国人工智能学会青年工作委员会常务委员等职务。多次担任ACL、EMNLP、COLING、全国信息检索大会等重要国际、国内会议的程序委员会主席、领域主席、讲习班主席等。承担国家重点研发计划课题、国家自然科学基金、上海市科委等多个项目，在国际重要学术刊物和会议上发表论文150余篇，获得美国授权专利4项。
桂韬
复旦大学自然语言处理实验室副研究员、硕士生导师。研究领域为预训练模型、信息抽取和鲁棒模型。在高水平国际学术期刊和会议上发表论文40余篇，主持国家自然科学基金、计算机学会、人工智能学会的多个基金项目。
郑锐
复旦大学计算机科学技术学院博士生，导师为张奇教授。研究兴趣包括大模型对齐、鲁棒性等。MOSS-RLHF开源项目负责人，文本鲁棒性评测工具TextFlint的核心贡献者，在ACL、EMNLP、COLING等国际会议上发表学术论文十余篇。
黄萱菁
复旦大学计算机科学技术学院教授、博士生导师。主要从事人工智能自然语言处理和信息检索研究。兼任中国中文信息学会理事，中国计算机学会自然语言处理专委会副主任，中国人工智能学会女科技工作者委员会副主任，计算语言学学会亚太分会副主席，亚太信息检索学会指导委员会委员。
这本书的PDF已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
作者专访
Q1
在撰写《大规模语言模型：从理论到实践》过程中，您认为是哪一部分内容对读者理解和应用大规模语言模型至关重要？
A1：在撰写《大规模语言模型：从理论到实践》过程中，对读者理解和应用大规模语言模型至关重要的部分是第2章《大语言模型基础》，尤其是对Transformer结构的深入分析（2.1节）。这一结构是目前大多数先进大规模语言模型的基础。对Transformer架构各个部分的理解——包括嵌入表示层、注意力层、前馈层、残差连接与层归一化以及编码器和解码器结构——为读者揭示了这些模型如何处理和生成文本数据的核心原理。
此外，第5章《有监督微调》也非常重要，它涉及如何将预训练的大规模语言模型适配到特定的下游任务。微调技术，包括提示学习和模型上下文窗口的扩展，是实现大规模语言模型在具体应用中有效性的关键。这不仅要求对模型本身有深入的理解，还需要对任务特定数据的处理和优化有清晰的认识。
这两章节为理解整本书的理论基础和实践应用提供了重要的知识框架，它们之间的联系和区别对于全面掌握大规模语言模型的理论与实践都是不可或缺的。
Q2
您如何看待当前大规模语言模型在人工智能领域的应用前景，尤其是在自然语言处理（NLP）方面的创新？
A2：大规模语言模型（LLM）在自然语言处理的未来应用是极其广阔的，它们已经开始改变游戏规则了。LLMs在一定程度上解决了以前我们觉得很难的事情，比如理解和生成自然语言。它们能够抓住语言的深层含义，提供更个性化的服务。这些模型现在还在起步阶段，但已经显示出来它们能在很多领域大有作为，比如帮助进行更复杂的人机交互和支持创新性工作。当然，这些都是建立在我们得处理好一些实际问题，比如要确保技术发展不会导致数据偏见和隐私问题，还得考虑到社会和伦理的影响。简而言之，LLM的潜力巨大，但我们也要确保它们的发展方向是对社会有益的。
Q3
鉴于大规模语言模型的快速发展，您认为未来几年内这一领域最大的挑战和机遇是什么？
A3：未来几年内，大规模语言模型（LLM）领域面临的最大挑战之一将是如何平衡创新速度与伦理、隐私和偏见问题的管理。随着模型变得越来越强大，如何确保它们的决策是透明的、可解释的，并且不会加剧现有的社会不平等，将是一个持续的问题。同时，计算成本的高昂和环境影响也是不容忽视的挑战。我们需要在开发更高效的模型和优化算法的同时，考虑到它们对环境的影响。
在机遇方面，LLM有潜力彻底改变多个行业，包括但不限于医疗保健、法律、教育和娱乐。在医疗保健领域，LLM可以协助进行病例分析和药物发现；在法律领域，它们可以帮助处理法律文档和案例研究；在教育领域，LLM可能提供个性化学习和辅导；在娱乐行业，它们能够创造新的互动体验和内容创作方式。
此外，随着技术的进步，LLM在多模态应用方面的能力也将得到大幅提升，处理和生成不仅限于文本，还包括图像、声音和视频等多种数据类型。这将开启全新的交互方式，并为人机交互带来革命性的变化。总的来说，挑战和机遇都是巨大的，关键在于我们如何利用这些工具技术，以确保能够为社会带来正面的影响。
Q4
对于那些希望进入大规模语言模型研究和开发领域的新手和学生，您有什么建议或者推荐的学习路径？
A4：首先，建立坚实的基础是至关重要的。深入理解数学，尤其是统计学方面的知识，以及精通至少一门编程语言，比如Python，这对开始你的学习之旅非常重要。接下来，深度学习和自然语言处理（NLP）是两个关键领域，需要你花时间深入研究。网络上有很多优质的在线课程，可以帮助你在这些领域建立扎实的知识基础。
当然，实际动手操作也是学习过程中不可或缺的一部分。我建议通过参与一些实际项目来应用你的知识。例如，可以开始尝试使用开源库来训练简单的模型，这样可以在实践中学习理论。
同时，保持对最新研究和行业动态的关注也是非常重要的。定期阅读领域内的最新论文，参加相关会议，这些都能帮助你保持知识的更新。也可以加入相关的社区和网络，与其他人交流思想和经验，参加研讨会或线上讨论，这对于拓展视野和建立有价值的联系非常有帮助。
最后，保持一颗好奇心，永远准备好学习新事物。**这个领域的变化非常快，所以永远保持好奇，对新知识保持开放的态度是非常重要的。**面对挑战，勇于提问，持续学习，这就是走进大规模语言模型领域的方式。
目录：
第1章 绪论1.1 大语言模型的基本概念
1.2 大语言模型的发展历程
1.3 大语言模型的构建流程
1.4 本书的内容安排第2章 大语言模型基础
2.1 Transformer结构
2.2 生成式预训练语言模型GPT
2.3 大语言模型的结构
2.4 实践思考第3章 大语言模型预训练数据
3.1 数据来源
3.2 数据处理
3.3 数据影响分析
3.4 开源数据集
3.5 实践思考第4章 分布式训练
4.1 分布式训练概述
4.2 分布式训练的并行策略
4.3 分布式训练的集群架构
4.4 DeepSpeed实践
4.5 实践思考第5章 有监督微调
5.1 提示学习和语境学习
5.2 高效模型微调
5.3 模型上下文窗口扩展
5.4 指令数据的构建
5.5 DeepSpeed-Chat SFT实践
5.6 实践思考第6章 强化学习
6.1 基于人类反馈的强化学习
6.2 奖励模型
6.3 近端策略优化
6.4 MOSS-RLHF实践
6.5 实践思考第7章 大语言模型应用
7.1 推理规划
7.2 综合应用框架
7.3 智能代理
7.4 多模态大语言模型
7.5 大语言模型推理优化
7.6 实践思考第8章 大语言模型评估
8.1 模型评估概述
8.2 大语言模型评估体系
8.3 大语言模型评估方法
8.4 大语言模型评估实践
8.5 实践思考参考文献
索引
这本书的PDF已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
3376
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
