GitHub 热门学习笔记《从零构建大模型》，建议收藏！

于 2025-03-10 09:51:03 发布
阅读量150 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： 学习 笔记
原文链接：https://mp.weixin.qq.com/s?__biz=MjM5Njc0MjIwMA==&mid=2649831664&idx=1&sn=e5143a1819959d0b5390bfc84aca7058&chksm=bfa6ebfdc8628b1ec8638cf00e772497e1c7d3b9592450c1b546c1c7f77dae9461eaa76de31c&scene=126&sessionid=0

今天给大家推荐一份 GitHub 上很火的机器学习学习笔记《从零构建大模型》，目前已经收获 1.6K stars，这份笔记完美展示了从零构建 LLM 的技术路线图，既有理论深度，又包含实践要点。每个核心概念都配有清晰的示意图，便于理解和实践。建议先掌握基础概念，再逐步深入理解高级特性，这样能形成更系统的知识体系。图片

第一部分：基础架构

  • LLM 的核心是对模型结构和训练数据的深入理解

  • 从数据采样和预处理开始，逐步构建基础模型

  • 需要特别关注词元化（Tokenization）处理，这是模型理解文本的基础

图片

第二部分：关键技术点

  1. 位置编码（Positional Encoding）

  • 帮助模型理解文本序列中的位置信息

  • 通过数学编码方式赋予每个标记相对位置

注意力机制（Attention Mechanism）

  • 包含自注意力和因果注意力两种形式

  • Q、K、V三个关键参数的协同作用

  • 进行尺度缩放以稳定训练

Transformer结构

  • 编码器-解码器架构设计

  • 多头注意力机制的实现

  • 前馈网络和归一化层的配置

图片

第三部分：优化策略

  • 微调（Fine-tuning）技术要点

  • 损失函数的选择与调整

  • 温度系数（Temperature）对输出的影响

图片

资源链接

GitHub：github.com/hesamsheikh/ml-retreat/blob/main/assets/LLM-from-scratch-notes.pdf

全网疯传的《从零构建大模型》首发抢读电子版，每周更新一章（现已更新至第 4 章）！会在纸质书出版之前更新完成，现在扫描下方二维码，你将成为首批阅读此书的读者，快来抢读！！

图片

  • 更新频次：每周更 1 章（共 7 章），现已更新至第 4 章

  • 本书代码和 Notebook 可以在 https://github.com/rasbt/LLMs-from-scratch 找到；

  • 作者更新了随书视频，需要的可以在这里观看https://www.youtube.com/watch?v=yAcWnfsZhzo

    https://www.youtube.com/watch?v=341Rb8fJxY0&t

在线更新电子版！电子版！电子版！限时秒杀 ¥39.9（购买后可以分享专属海报赚佣金！！）

turingbooks
关注
博客
我力荐这本书，贼好懂，还讲得特别细致！
07-17 1
这对组合联手打造的这本书，既有清晰的技术讲解，也有动手实操的示例代码，堪称想看懂又能上手的理想教程。随着人工智能的不断演进，大模型正站在最前沿，彻底改变我们与机器的互动方式、信息处理流程，甚至语言本身的理解方式。备受关注的大模型“袋鼠书”，全书通过 300 幅全彩插图，以极致视觉化的方式呈现大模型的核心原理与工程实现，覆盖从底层机制、应用开发到性能优化的完整链条。无论你是初入大模型世界的新手，还是希望进一步掌握其应用的开发者，《图解大模型》这本书可以说都是一本不可错过的实用指南。
博客
读者热评：初一开始接触微积分入门，到高中，物理和数学直接起飞！
07-17 4
有时可以假设问题已经解决，然后一步一步倒推，直到得到已知条件．这时你就可以颠倒步骤来构造原问题的解．这种方法常用在解方程的问题中．比如，在解方程时3x-5=7时，假设x是一个满足的3x-5=7数，然后倒推，在方程两边同时加上5，然后再在方程两边同时除以3，得到x=4．因为每一步都是可以颠倒的，所以这个问题就解决了．。有些题目是通过发现某种规律才得以解决的，这个规律可以是几何的、数值的或代数的．如果你在题目中看到了一致性或者重复性，也许你就能够猜出这个规律是什么，并解决问题．。
博客
丘成桐：为什么要学数学史？
07-16 5
本书从古希腊几何学时代讲起，涵盖代数、微积分、集合、数论、拓扑、逻辑等几乎全部数学分支中的证明故事，讲述了证明的演变及其在数学中的重要作用和启发意义。本书讲述了数学概念的演化过程，引经据典地从哲学、历史、文化角度全方位地探讨了数学的本质，揭示了数学与物质世界、与人类思维之间的微妙关系，讨论了困惑几代思想家的重大问题，讲述了数学、哲学和物理学巨匠们的生活经历与思想。书中的每一个结果，从牛顿的正弦函数的推导，到伽玛函数的表示，再到贝尔的分类定理，无一不处于各个时代的研究前沿，至今还闪烁着耀眼夺目的光芒。
博客
新书速递 | 11本计算机新书重磅上市！
07-15 17
本书是深受读者喜爱的统计学入门书，对同一个知识点分别使用文字说明、数学式和 Python 示例代码进行讲解，循序渐进地介绍了统计学和 Python 的基础知识、描述统计、统计推断、假设检验、正态线性模型和广义线性模型等统计模型，以及机器学习等。等实战图书陆续发布。本书通过丰富的插图、表格和代码示例，结合动手实验及结果分析，通俗易懂地讲解了 Linux 操作系统的基础知识和运行原理，包括进程管理、进程调度、内存管理、设备访问、文件系统、虚拟化和容器等机制，以及这些机制如何与硬件协同工作。
博客
全球销量第一！这本书足以秒杀市面上99%的微积分教材！读者锐评“绝对的神书”
07-15 11
本书讲解了（一元）微积分的主要概念和核心思想，从基本函数出发，全面覆盖了极限、导数、积分、微分方程、参数方程等重要主题，运用图像、数值、代数方程和语言描述等多种方法来呈现，不仅详细介绍了微积分的理论知识，而且特别重视实际应用，同时配有大量练习，帮助读者提高计算能力和掌握解题方法。连续性、链式法则、隐函数求导法、线性近似、中值定理、洛必达法则、牛顿法、原函数、黎曼和、微积分基本定理、分部积分、分离变量法、参数方程、极坐标系、圆锥曲线……引导式教学，立体化讲解，再也不被传统教材的“防自学设计”所困扰！
博客
新书上市 | 雨果、巴金、达尔文等文学家和科学家都盛赞的科普昆虫巨作！中学语文教科书推荐阅读！
07-14 30
爱看蚂蚁搬家的你，会在《昆虫记》中发现一个更神奇、更神秘、更神圣的大自然！教育部统编语文教科书八年级（上）推荐阅读！在人类历史上，法布尔用热情而严肃的笔触，记录下了昆虫世界的奇妙，对自然科学和文学都有重要贡献，《昆虫记》因此获得诺贝尔文学奖提名，成为不可不读的自然科普读物。法布尔，法国博物学家、昆虫学家、科普作家、文学家，凭借《昆虫记》获得诺贝尔文学奖提名。雨果、巴金、达尔文……文学家和科学家都盛赞的昆虫科普！《昆虫记》不愧为“昆虫的史诗”。——雨果。探访黑蚂蚁与红蚂蚁的战役；观察黑胡蜂精工细作的巢；为搬运
博客
AI大神Andrej Karpathy爆火演讲，为何值得开发者反复观看？
07-13 25
举个例子，如果你写的 prompt 不清晰，AI 很可能就不会按你想要的方式执行，验证失败，你得反复修改。豆瓣评分 9.5，从零开始构建大模型的最佳指南，由畅销书作家塞巴斯蒂安•拉施卡撰写，通过清晰的文字、图表和实例，逐步指导读者创建自己的大模型。第二是要拴住 AI。所以，虽然它快，但我依然是那个瓶颈。超牛的 DeepSeek 应用书，作者是 AI 大佬花生，全书涉及 13 大场景，90 个实用案例，7 大技巧，4 大王炸组合，内容涵盖高效办公、副业变现、数据分析、企业级 DeepSeek 使用方案等等。
博客
他被称为20世纪的欧拉，一生写了1500多篇论文，却一辈子没钱没工作到处借宿同行家……
07-11 36
有人向他指出了拉马努金的成果。和许多伟大的数学家一样，因为父亲的缘故，埃尔德什有幸接触到了各种思想，这才对数产生了热情。他微微驼背，趿拉着拖鞋，穿着西装，全世界的数学办公室里都是这样的身影。要想证明素数的确是随机分布的，首先要证明，在黎曼那面镜子的另一边，这些零点有序地分布在他的临界线上。年，在解放后的布达佩斯，当他被苏军拦在街头时，他唯一拿得出手的身份证明就是与塞尔贝格共同撰写的论文。没有家，也没有工作，他就喜欢这样，奔赴世界各地，突然到某位朋友那里，沉迷于他所热爱的合作，逗留几个礼拜，然后突然离开。
博客
2025 年最值得用的 AI Agent 框架是哪几个？
07-10 57
它提供了像 Flowise 一样的可视化界面，但在需要的时候，也能深入进行自定义开发。今年年初，我打算做一个属于自己的 AI Agent，来自动处理日常工作，比如：回复邮件、生成报告、管理日程、起草内容、甚至调试代码片段。现在我已经试过十几个框架——从界面友好的可视化构建器，到高度可定制、以代码为核心的技术栈——我想分享一份经验指南，正是我当初希望能有人写出来的那种。如今，越来越多的人在学习大模型，为了让大家学习不孤单，我们发起了「大模型技术共学营」，为想系统入门和实战大模型的同学，提供共学服务。
博客
新增近 200 页，读完这本书，我终于明白了程序员的修炼之道！
07-09 25
作为 Java Champion，他在 Java 社区享有崇高声誉，参与制定Java标准，直接影响 Java 生态的发展方向。本书的核心目标是帮助开发者建立扎实的基础，掌握 Java 语言和 JVM 平台的深层知识，同时引导读者了解 Java 生态中的非 Java 语言，如 Kotlin 和 Clojure。通过对 Java 语言核心原理的学习，读者将掌握如何高效地使用 Java，如何应对日益复杂的开发环境，并理解平台的未来演化方向。这就是这本书写作的原点，也是它和市面上大多数 Java 书最大的不同。
博客
陶哲轩：一个好的理论，就是对现实世界的一种极致高效的“压缩”
07-08 29
例如，如果函数是复值的而不是实值的，将会发生什么样的情况？其中最核心的，或许是他对理论本质的精辟概括：一个好的理论，就是对现实世界的一种极致高效的“压缩”——用最少的参数，解释最多的观测。本书中的分析理论将帮助你解决以上这些问题，并且会让你了解这些法则（以及其他的法则）在什么情况下是适用的，在什么情况下是不能使用的，从而把这些法则有益的应用与谬论隔离开来。然而，在一个人工智能以前所未有的速度渗透进人类智力活动最前沿的时代，即便是陶哲轩这样的大脑，也在重新思考数学的本质、证明的形态以及未来的研究范式。
博客
新书上市 | 数学到底有什么用，这本书彻底讲透了！
07-08 37
——从A4纸到樱花预测，从黄金比例到AI算法，带你发现数学的奇妙与实用，轻松掌握数学思维，改变你看世界的方式！从三岁起就沉浸在“数学沼泽”中的东京大学数学系博士，力图用日常生活中的案例（如A4纸放大、樱花预测、自助餐食物增量等）解读数学原理，让数学不再抽象。无论是对数学有恐惧情绪的文科生，还是对数学着迷的理科生，都能在这本书中轻松获得有趣的知识和有效的应试技巧。数学为我们的工作与生活提供支持，甚至可以说“世界是由数学建立的”。我们非常熟悉的表示纸张大小的 A、B 开本的长宽比正是白银比例。
博客
这可能是市面上最适合自学的深度学习入门书，没有之一！
07-07 55
无论是简单的感知机模型，还是复杂的卷积神经网络，每一步操作都以最基础的方式呈现，让读者不仅理解理论，更能亲自体验算法的运行细节。本书内容精炼，聚焦深度学习视角下的自然语言处理，延续前作的行文风格，采用通俗的语言和大量直观的示意图详细讲解，帮助读者加深对深度学习技术的理解，轻松入门自然语言处理。他另辟蹊径，不依赖现有的框架，从最基本的 Python 编程语言和 NumPy 库开始，以深入浅出的方式，逐步引导读者自己实现每个深度学习算法，从最基础的感知机到完整的卷积神经网络，真正做到了零依赖、零基础。
博客
新书上市 | 畅销近20万册的“不焦虑”数学系列再出新作！你敢不敢拼一下满分？！
07-04 48
作者结合大众在生活和学习中常见的数学问题，讲述了这些数学思想的历史发展过程，以及有趣的人物和故事，激发读者学习数学的兴趣，帮助读者开拓思路，掌握数学思想中的基本要素，体会其中的妙处，学会在学习和生活中应用这些思想和方法。我在读中学的时候，还学过一点点机械制图的“皮毛”，而在画三视图的时候，我也是笨得“要命”。“不够”的标准是什么？其实，我对侄子的数学审美品位没有太大意见，我最生气的点是，这家伙本末倒置——高考毕竟还是要看成绩，你找辅助线，就有找不到的风险，但用建立直角坐标系的方法，永远不会有这个烦恼。
博客
一部改变数学教育史的微积分教材！
07-01 89
这种反复的、情境化的训练，培养了学生的思维模式，使学生在面对复杂陌生的情景时，能超越机械计算，学会像数学家一样思考。在哈佛大学的牵头下，集结数学教授与物理学、工程学、计算机科学、经济学等领域的专家，共同设计了一套强调“自然理解”和“跨学科应用”的“哈佛教材”，几乎摒弃了传统教科书对形式化推导的追求。斯图尔特作为波利亚的学生，不仅亲承大师教诲，更是将他的“四步解题法”（理解题目、思考计划、实施计划、回顾反思）扩展和深化，设计了自己的“解题的基本原则”，创造性地嵌入到微积分的知识体系中，成为了本书的独特标志。
博客
我们需要一张能揭示大模型底层原理的地图
07-01 33
这套认知体系，对于开发者来说意味着更强的工程掌控力，对于产品经理来说意味着更敏锐的产品洞察力，而对于学生和新人来说，这无疑是进入 AI 领域最硬核、也最扎实的一张“入场券”。它用一种近乎“开源”的精神，毫无保留地揭示了“黑箱”之中的秘密，将构建大模型的权利，真正交还到了每一个普通技术人的手中。如果你不满足于仅仅做一个时代的见证者，而是渴望成为一名真正的参与者、乃至未来的贡献者，那么，翻开这本书，亲手构建你的第一个大语言模型，将是你迈向这个未来最坚实、也最精彩的一步。快来扫码进群吧 ~👇。
博客
倒计时最后 1 天！大模型技术共学营早鸟福利即将截止！
06-30 43
不用再东拼西凑，一套完整、可执行、能坚持的路径，助你无痛起步。没有“21 天速成”，没有“副业变现”那种听着就悬的噱头。，旨在打造一个专注于大模型技术的学习型社群，帮助每一位成员从零开始，逐步深入，最终成为大模型领域的实践者和创新者。它不是一门枯燥的视频课，也不会甩给你一堆看不完的 PDF，而是老老实实给到实用内容，而且都准确“砸在。不需要你有 AI 背景，也不需要高学历光环——只要你会基础 Python，就能带你从 0 入门。大模型学习，不必再一个人孤军奋战，扫码加入共学营学起来吧👇。
博客
豆瓣9.5，深度学习入门神作，“鱼书”系列第 5 部生成模型来了！
06-30 137
怎么说呢，读完这本书确实不能保证让你立刻成为 AI 专家，但它会给你两样更珍贵的东西，一是看清生成模型的技术本质，二是作者把所有的代码都设计成模块化，让你拥有想改就改的掌控感。从正态分布、最大似然估计，到 VAE、DDPM，一步步搭起生成模型的理论基座，对那些想真正吃透这门技术的人来说，它不是一本普通的参考书，更像是下一关的通关秘籍。作为真正意义上的深度学习入门书，它也得到了超多读者的推荐，日本读者对这个系列给出的评价是：“出奇的好懂，连文科生都能看懂 ”。” 的问答下，最高赞的回答就四个字：“
博客
我，数学编辑，馋作者流量，从不发疯
06-28 43
其实，图灵新知的数学科普书都挺硬的，倒不是真的每本都那么难读，但文字阅读的难度，加上数学知识、逻辑理解的难度，数学书阅读本身，就有门槛。我承认，我手里也有不少因为流量不够而卖不好的好书，但市场上大咖把书做砸，几千册都难出手，最后作者和编辑闹得“打离婚官司”，你当没有吗！我跟设计师商量：咱们这次不弄什么一堆小孩摆姿势、小动物乱跑的，搞得跟课本的插图风格一样，小读者们上学看课本，下课看还是这套，烦不烦。我是觉得，孩子们没真的理解这其中的算理，一道题只能学一个套路，没有学会举一反三，没有理解这背后的学问？
博客
想入门大模型？不用一个人瞎琢磨，有书有直播，一群人慢慢学透
06-28 48
2025 年 6 月，人工智能行业再次进入一个关键爆发期——不论是 Google、OpenAI、阿里、xAI，还是 Mistral、Sakana AI，所有顶级实验室都在集体发力。而今天，无论是自动写报告、智能搜索、代码生成，还是问答助手、文档分析、企业流程自动化，，旨在打造一个专注于大模型技术的学习型社群，帮助每一位成员从零开始，逐步深入，最终成为大模型领域的实践者和创新者。它不是一门枯燥的视频课，也不会甩给你一堆看不完的 PDF，而是老老实实给到实用内容，而且都准确“砸在。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值