大模型书籍推荐丨《大语言模型综述》新书出炉，中国人民大学出版，391页pdf（附文档）-优快云博客

在2023年3月，我们发表了大语言模型综述文章《A Survey of Large Language Models》。这篇综述文章已经更新到第13个版本，包含了83页的正文内容，并收录了900余篇参考文献。

在这里插入图片描述

自英文综述文章上线后，陆续有读者询问是否有对应的中文版本。为此，我们于2023年8月发布了该综述的中文翻译版。

中国人民大学的这份《大语言模型综述》，已经下载打包了，需要的可以扫码获取~

👉优快云大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

为了更好地提供大模型技术的中文参考资料，我们于2023年12月底继续启动了中文书的编写工作，并且于近日完成初稿。中文版书籍更注重为大模型技术的入门读者提供讲解，为此我们在内容上进行了大幅度的更新与重组，力图展现一个整体的大模型技术框架和路线图。
在这里插入图片描述
2022年底，ChatGPT 震撼上线，大语言模型技术迅速“席卷”了整个社会，人工智能技术因此迎来了一次重要进展。面对大语言模型的强大性能，我们不禁要问：支撑这些模型的背后技术究竟是什么？

总之，大模型技术正处于快速发展阶段，基础原理亟待探索、关键技术亟待改善。对于科研人员而言，大模型研究工作充满了想象空间，令人为之神往。

全书章节组织：

一、背景与基础知识

第一章 引言（大模型发展历程、重要技术概览）

第二章 基础介绍（Scaling Law、GPT系列模型发展历程）

第三章 大模型资源（开源模型、数据、代码库）

二、预训练

第四章 数据准备（数据收集、清洗、配比、课程方法）

第五章 模型架构（Transformer 结构、大模型主流架构、细节改进）

第六章 模型预训练（预训练任务、优化参数设置、并行训练方法）

三、微调与对齐

第七章 指令微调（指令数据收集与合成方法、指令微调策略与作用）

第八章 人类对齐（3H标准、RLHF算法、非RL算法）

四、大模型使用

第九章 解码与部署（解码生成算法、解码加速算法、模型压缩算法）

第十章 提示学习（基础提示方法、上下文学习、思维链）

第十一章 规划与智能体（复杂规划方法、智能体搭建方法）

五、评测与应用

第十二章 评测（评测指标与方法、基础与高级能力评测、评测体系）

第十三章 应用（概览研究领域与专业领域的应用）

在这里插入图片描述

大语言模型发展时间线

在这里插入图片描述

大模型代码工具库： 我们开发了一个全面的代码工具库LLMBox，专门用于开发和实现大语言模型，其基于统一化的训练流程和全面的模型评估框架。LLMBox旨在成为训练和利用大语言模型的一站式解决方案，其内部集成了大量实用的功能，实现了训练和利用阶段高度的灵活性和效率。工具库链接：https://github.com/RUCAIBox/LLMBox。

在这里插入图片描述

YuLan大模型： YuLan系列模型是中国人民大学高瓴人工智能学院师生共同开发的支持聊天的大语言模型（名字“玉兰”取自中国人民大学校花）。最新版本从头完成了整个预训练过程，并采用课程学习技术基于中英文双语数据进行有监督微调，包括高质量指令和人类偏好数据。模型链接：https://github.com/RUC-GSAI/YuLan-Chat。

在这里插入图片描述