大语言模型教程与实践（开源）

1.简介

大语言模型（Large Language Models, LLMs）的兴起确实始于OpenAI在2018年发布的GPT（Generative Pre-trained Transformer），这一开创性工作引领了自然语言处理领域的新纪元。随后，2022年底ChatGPT的横空出世，进一步加速了大语言模型技术的应用普及，它不仅展示了惊人的生成能力和理解深度，还极大地推动了人工智能技术的社会认知与应用边界。

对于技术开发者而言，想要深入学习大语言模型技术，确实需要掌握一系列复杂而深奥的知识体系。在24年之前，市面上尚缺乏关于大型模型的系统书籍。因此，从网络上搜集整理了大量关于大型语言模型的知识，并将这些资料分类汇总后开源至GitHub。在深入学习这一领域时，发现关于模型微调、部署应用的文章较为丰富，相比之下，关于从头开始训练大型模型、SFT、DPO等方面的实践知识则相对稀缺。鉴于此，，在学习的过程中，从零开始训练一个小参数的大语言模型，让消费级的显卡也能训练起来大模型，学习大模型的实践知识。

适用人群：

• wdndev/llm_interview_note：适合初学者了解什么是大模型；想转行大模型的技术人员；
• wdndev/tiny-llm-zh：想深入了解大模型，动手实践

2.LLMs基础知识

开源地址：