- 博客(191)
- 收藏
- 关注
RSS订阅原创 Transformer拆解13：现代大模型改了什么，RoPE、RMSNorm、SwiGLU与GQA
现代大模型仍以Transformer为骨架，却很少原样复制2017年配置。本文按位置、归一化、前馈网络和注意力头四条线，比较经典正弦位置编码与RoPE、LayerNorm与RMSNorm、ReLU FFN与SwiGLU、MHA与MQA/GQA。用NumPy验证KV头共享的缓存元素数和现代Block形状，并强调这些改造各解不同问题，不是绑定套餐；KV缓存缩小比例也不能直接当作端到端加速比例。
2026-11-06 20:22:23
原创 Transformer拆解12：Encoder、Decoder与Encoder-Decoder，谁能看见谁
三类Transformer的关键差异不只是结构数量，而是信息流。本文对比Encoder双向自注意力、GPT式Decoder因果自注意力，以及经典Encoder-Decoder中的交叉注意力，用NumPy展示可见矩阵和查询长度乘源长度的权重形状。还会区分BERT、GPT、T5与原始Transformer，说明训练目标、生成方式和KV Cache策略，并澄清经典Decoder含交叉注意力而GPT式Decoder-only通常没有。
2026-11-06 09:22:05
165
原创 Transformer拆解11：残差连接与归一化，Pre-Norm和Post-Norm别混写
Transformer能堆深，不只靠注意力。本文拆解残差连接、LayerNorm和RMSNorm的公式与归一化轴，用NumPy验证LayerNorm会居中并缩放、RMSNorm只按均方根缩放；再对比Pre-Norm与Post-Norm的数据路径，说明原始Transformer使用Post-Norm，许多现代大模型常用Pre-Norm与RMSNorm。还会讨论epsilon、低精度、Dropout、残差缩放和替换归一化的边界，避免把训练稳定性结论绝对化。
2026-11-06 09:20:57
145
原创 Transformer拆解10：前馈网络，注意力之后为什么还要经过MLP
注意力负责位置间交换信息，前馈网络负责对每个位置独立加工。本文拆解经典Transformer的Position-wise FFN，追踪d_model扩到d_ff再压回的形状，用NumPy验证所有位置共享参数且不直接混合位置。还会区分经典ReLU、GELU与现代SwiGLU，说明门控FFN为何多一条投影、公平比较为什么要对齐参数预算，以及FFN在参数量、计算、激活显存和MoE中的工程位置。
2026-11-05 09:41:47
595
原创 Transformer拆解09：位置编码，没有循环结构，模型怎样知道先后顺序
纯自注意力对输入排列具有等变性，不额外注入位置时，模型无法仅凭注意力区分词序。本文拆解经典正弦位置编码的公式、形状、频率和相对位移性质，用NumPy验证正余弦对的固定范数；再比较可学习绝对位置与RoPE，说明RoPE对Q和K做旋转而非与Embedding相加，并验证旋转保持范数、相同相对位移得到相同点积。还会澄清可计算更长位置不等于模型能可靠外推。
2026-11-05 09:40:59
338
原创 Transformer拆解08：Padding Mask与Causal Mask，遮住的不是一回事
Padding Mask用于阻止有效查询读取补齐位置，Causal Mask用于阻止自回归位置偷看未来，两者目标、形状和作用范围不同。本文用NumPy验证Mask应在Softmax前施加，展示两种Mask合并后的权重，并讨论全遮挡行、查询侧Padding不会自动清零、有限负数与数据类型、布尔Mask语义差异，以及训练并行和生成逐步进行为什么不矛盾。具体API需核对对应版本官方文档。
2026-11-04 09:26:23
400
原创 Transformer拆解07：Multi-Head Attention，拆头、并行、拼接到底怎么走
多头注意力不是把同一张注意力图复制多份，而是把Q、K、V投影到多个表示子空间，每个头独立计算，再拼接并做输出投影。本文逐步追踪从B乘S乘d_model到B乘H乘S乘head_dim的形状变化，用NumPy验证拆头、转置、注意力、拼接和输出闭环，并说明d_model为何通常要能被头数整除、Softmax为什么不能沿头轴、输出投影为何不能漏、头数也不是越多越好。
2026-11-04 09:25:49
171
原创 Transformer拆解06：Self-Attention，一句话里的词怎样互相看见
Self-Attention的Self表示Q、K、V来自同一序列，不表示三者相同，也不表示注意力矩阵对称。本文用三位置小矩阵逐步计算投影、分数、Softmax权重和输出，说明每一行回答哪个查询在关注谁，并用NumPy排列实验验证没有位置编码时自注意力具有排列等变性。还会区分双向、因果和Padding自注意力，解释为什么训练能并行、自回归生成仍需逐步进行。
2026-11-03 09:31:42
220
原创 Transformer拆解05：缩放点积注意力，为什么要除以根号d_k
完整注意力公式只有一行，细节却很容易说错。本文逐项拆解QK转置、除以根号d_k、Mask、Softmax和加权V，说明Softmax必须沿键位置轴归一化。用NumPy实验验证在独立零均值单位方差假设下，未缩放点积的标准差随根号d_k增长，缩放后回到稳定量级。还会澄清Mask位置、数值稳定Softmax、Dropout影响和注意力权重并非完整因果解释。
2026-11-03 09:31:11
242
原创 Transformer拆解04：Q、K、V到底是什么，查询匹配与信息提取
Q、K、V不是三个固定语义标签，而是输入经过不同可训练线性投影得到的三组表示。本文从查询、匹配和信息汇总的分工出发，拆解QK转置为何形成位置关系矩阵、V为什么负责被汇总的内容，并用NumPy验证自注意力和交叉注意力的张量形状。还会澄清Q不等于自然语言问题、K不等于关键词、自注意力同源不等于QKV数值相同，以及QK维度必须一致但V维度可以不同。
2026-11-02 09:29:49
325
原创 Transformer拆解03：Embedding不是词典释义，Token ID怎样变成向量
Token ID只是查表索引，不是带大小关系的语义数字。本文从Embedding矩阵出发，拆解查表、批次与序列形状、one-hot矩阵乘法的等价关系，以及向量如何在训练中被更新。还会区分静态输入Embedding与上下文化表示，说明原始Transformer的缩放和权重共享只是具体设计，并分析词表大小对参数、输出头、序列长度和推理成本的影响。
2026-11-02 09:29:09
537
原创 Transformer拆解02：从Token到输出，一条数据经历了什么
第一次看Transformer结构图，很多人会被注意力、前馈网络、残差、归一化和Mask淹没。本文先不钻公式，而是跟着一批Token走完整条路径：Token ID变Embedding、加入位置信息、经过注意力与前馈网络、重复堆叠Block、投影到词表输出。用NumPy验证每一步的张量形状，并区分经典Encoder-Decoder、BERT式Encoder和GPT式Decoder，还会解释为什么训练能并行、生成仍要逐Token进行。
2026-10-30 09:28:44
394
原创 Transformer拆解01：Transformer为什么出现，RNN到底卡在哪里
Transformer不是凭空出现的。RNN依靠隐藏状态按时间步推进，同一条序列难以并行，长距离信息还要经过多次状态传递。本文从RNN计算链出发，用NumPy小实验观察早期影响在简单循环网络中的衰减，再拆解自注意力如何把长链改成位置间直接交互。也会讲清Transformer并非没有代价：它需要位置表示，标准注意力的分数矩阵还会随序列长度二次增长。
2026-10-30 09:27:36
440
原创 【老计带你懂概率统计】16：用概率思维做决策，把知识变成智慧，系列收官
系列收官篇。学概率统计，最终是为了活得更明白、决策更靠谱。这篇把整个系列升华成一种思维方式，用期望值做长期决策、用贝叶斯不断更新信念、警惕小概率大后果、别被随机性和数据愚弄。回顾全系列主线，愿这份概率思维成为你在不确定世界里更从容的一件工具。
2026-10-29 09:20:22
239
原创 【老计带你懂概率统计】15：蒙特卡洛与随机模拟，用随机的力量解决确定的难题
有些问题公式复杂到算不出来，怎么办？用随机模拟硬算。这篇讲透蒙特卡洛方法，一个用随机的力量解决确定问题的绝妙思路。用往正方形里撒点估算圆周率的经典例子讲清直觉，再聊它在风险评估、金融、AI里的实际应用。用大白话和可跑代码演示，看随机怎么算出精确答案。
2026-10-29 09:18:58
683
原创 【老计带你懂概率统计】14：概率统计在机器学习里的角色，把整个AI算法用统计重讲一遍
学了这么多概率统计，它到底怎么撑起机器学习？这篇用概率统计把整个《老计带你懂AI算法》串了一遍，损失函数背后是最大似然、朴素贝叶斯就是贝叶斯定理、过拟合是个统计问题、评估指标有统计本质。看完你会发现，机器学习不是玄学，底下站着的是概率统计。用大白话和可跑代码打通两个系列。
2026-10-28 09:28:48
119
原创 【老计带你懂概率统计】13：回归分析，怎么量化一个东西对另一个的影响
面积每多一平米，房价平均涨多少？广告每多投一万，销量涨几成？回归分析就是回答这类问题的工具。这篇从统计视角讲透线性回归，怎么解释系数、怎么判断这个影响是不是显著。它和算法系列的线性回归是一体两面，一个讲预测、一个讲解释因果关系，用大白话和可跑代码讲明白。
2026-10-28 09:27:01
622
原创 【老计带你懂概率统计】12：相关不等于因果，这句话到底是什么意思
冰淇淋卖得多的时候溺水的人也多，难道吃冰淇淋会淹死人？当然不是。这篇讲透相关不等于因果这句人人会说却少有人真懂的话，讲清相关系数、混淆变量、辛普森悖论，还带你入门因果推断。这是数据分析里最大、也最容易翻车的坑，用大白话和可跑代码讲明白。
2026-10-27 09:12:04
385
原创 【老计带你懂概率统计】11：AB测试实战，互联网公司怎么用统计学做决策
换个按钮颜色、改个文案，到底有没有用？互联网公司靠AB测试用数据说话。这篇把上一篇的假设检验落到实战，讲清AB测试的完整流程、要多少样本量、怎么判断显著，尤其点出偷看数据提前停止等常见陷阱。用大白话和可跑代码走一遍，是数据驱动决策的必修课。
2026-10-27 09:11:22
455
原创 【老计带你懂概率统计】10：假设检验，怎么判断一个效果是真的还是碰巧
新药有效、改版有用，怎么知道这不是碰巧？这篇讲透假设检验的思路，原假设、p值、显著性、两类错误。尤其重点破解那个被无数人误解的p值，它绝不是结论正确的概率。用大白话和可跑代码演示一次完整检验，这是做科学决策和下一篇AB测试的基础。
2026-10-26 10:06:23
436
原创 【老计带你懂概率统计】09：参数估计，用样本科学地猜出总体的真实参数
只看到一部分数据，怎么猜出背后那个真实的规律？这篇讲透参数估计，点估计给一个数、置信区间给一个更诚实的范围，尤其讲清那个在机器学习里无处不在的最大似然估计，找那个最能解释观测数据的参数。用大白话和可跑代码演示，还点出机器学习本质就是在做参数估计。
2026-10-26 10:05:54
349
原创 【老计带你懂概率统计】08：抽样与大数定律，为什么问几千人就能估计上亿人
民调只问几千人，凭什么能估计上亿人的想法？这篇讲透抽样和大数定律，为什么样本越多、平均越接近真实。更重要的是讲清抽样偏差和幸存者偏差这两个大坑，你看到的数据，可能是被悄悄筛选过的。用二战飞机弹孔的经典故事和可跑代码演示，学会不被样本骗。
2026-10-25 18:17:24
431
原创 【老计带你懂概率统计】07：期望、方差与描述统计，怎么用几个数字概括一堆数据，还不被平均值骗
面对一大堆数据，怎么用几个数字说清它长什么样？这篇讲透均值中位数众数、方差标准差、分位数这些描述统计的核心，尤其点破那个坑人的均值陷阱，为什么平均工资会骗人、什么时候该看中位数。用大白话和可跑代码演示，还讲了箱线图怎么一眼看清一组数据。
2026-10-25 18:16:52
399
原创 【老计带你懂概率统计】06：正态分布与中心极限定理，为什么世界如此偏爱钟形曲线
身高、成绩、测量误差，为什么这么多东西都长成中间高两边低的钟形？这篇讲透正态分布和它的68-95-99.7法则，尤其讲清那个神奇的中心极限定理，为什么大量随机因素叠加起来，结果总趋近正态。用大白话和可跑的模拟代码演示，这是整个统计学的基石之一。
2026-10-24 12:52:57
448
原创 【老计带你懂概率统计】05：几个必须认识的分布，什么现象对应什么分布
现实里的随机现象，大多能对应到几个经典分布。这篇一次讲清伯努利、二项、泊松、均匀、正态、指数各是干嘛的，什么现象对应什么分布。抛硬币、点击率、排队人数、故障间隔，都能找到它的分布。用大白话和可跑代码逐个演示，认全它们，你就有了描述不确定世界的基本词汇。
2026-10-24 12:52:13
426
原创 【老计带你懂概率统计】04：随机变量与概率分布，把不确定性变成可计算的数
不确定的东西怎么用数学来算？靠随机变量和概率分布，把不确定性变成一张标明各种可能性大小的地图。这篇用骰子和身高的例子，讲清离散和连续随机变量、概率质量和密度函数、累积分布的直觉，配可跑代码画出分布，是理解后面所有分布的基础。
2026-10-23 09:47:51
360
原创 【老计带你懂概率统计】03：条件概率与贝叶斯定理，从线索反推真相的神器
体检查出阳性，就一定得病了吗？未必。这篇讲透条件概率和贝叶斯定理，看到线索反推可能性的思维。用经典的疾病检测假阳性问题讲清为什么阳性不等于得病，还讲了它在垃圾邮件和医疗诊断里的应用，呼应算法系列的朴素贝叶斯，配可跑代码。
2026-10-23 09:47:30
345
原创 AI训练师二级08：通关方法论，六类题一张图（收官）
AI训练师二级拆题系列收官。这篇把六类题的解题骨架汇总成通关方法：业务分析、数据挖掘、智能训练、系统设计、培训设计、综合评审各一句话套路口诀。再给贯穿所有题的五条原则：先拆题后作答、要点答全比名词华丽重要、一切可验收可量化、人在回路、严谨比自信重要。还有备考精力分配(B是主战场尤其B2)、评分踩分法、心态。六道题考的其实是同一种能力：把AI落到真实业务里。记住方法不是答案，以当年赛题为准。
2026-10-22 13:40:36
80
原创 AI训练师二级07：综合评审大题，把业务诉求一路设计到可落地方案
拆解AI训练师二级分值集中的综合评审大题。它考最完整的能力链：把一句模糊业务诉求一路转化成标准化需求、方案、实现和测试。这篇用原创的用户评论违规审核场景讲透：任务一需求转化要把业务话变技术话，含配置能力、验收可量化；任务二方案三件套，流程图标判断点、JSON配置、统计由审计明细复算；任务三伪代码检测和标记职责分离、测试严格按边界值关键词覆盖压力三类写。核心是业务到实现的完整转化链加机器辅助人工裁决。学习性拆解，原创案例，不含真题。
2026-10-22 09:11:59
387
原创 AI训练师二级06：培训设计题怎么拆，不是列课程名而是设计学会的过程
拆解AI训练师二级的培训与指导题。这类题要你编培训计划、选关键点、设计教学思路，最容易答成课程名罗列，其实它考的是设计一个让学员真正学会的过程。这篇用原创的智能客服系统培训场景讲透：每项内容对齐学什么怎么练怎么证明学会；任务一两天计划用五列表格讲递进；任务二选1个关键点要讲判断依据；任务三设计数据分析到建模到评估到优化到复验的完整闭环，一案贯穿每步有产出。学习性拆解，原创案例，不含真题。
2026-10-22 09:11:37
266
原创 AI训练师二级05：多产品方案设计题怎么拆，从功能匹配到全链路
拆解AI训练师二级的智能系统设计题。这类题要你为一个领域设计多个智能产品的协同方案，还要给实施计划和全链路。这篇用原创的智慧停车场场景讲透：第一步锁数量把3个产品、4个阶段、3类资源等要素圈出当checklist,漏答是最大失分；功能匹配表的技术要落到采集处理执行记录的动作链上；两张流程图务必分开；实施计划周数要复算、资源要写到位验证；全链路对比传统要动作一一对应。换行业只换产品和角色。学习性拆解，原创案例，不含真题。
2026-10-21 09:51:17
281
原创 AI训练师二级04：最硬核的一道，训练集、黄金测试集与偏差检测怎么做
拆解AI训练师二级分值最重的智能训练题。它考的是会给模型准备好数据：构建高质量训练集、黄金测试集、做偏差检测。这篇用原创的外卖订单量预测场景讲透：任务一特征工程的灵魂是防数据泄漏，滚动特征必须先shift;任务二黄金测试集，时序数据按时间切不能随机切，用KS检验看分布一致性，别把p=0.87说成87%一致；任务三对高波动热点设计测试方案。通用骨架是防泄漏、保代表性、严谨检验。严谨比自信重要。学习性拆解，原创案例，不含真题。
2026-10-21 09:49:36
876
原创 AI训练师二级03：数据挖掘代码题怎么拆，从一份数据挖出业务价值
拆解AI训练师二级带代码的数据挖掘题。这类题给你几份数据，让你用Python分析、挖业务机会点、再提AI方案。这篇用原创的电商销售场景，讲清通用解法：核心是证据链，代码跑出数值是事实、把事实讲成商业价值、再设计AI方案。代码部分套路固定，就是pandas的groupby聚合，从下游倒推怎么填。任务二最拉分，结论必须引用数值落到决策收益效率。任务三只写数据使用方式、算法模型、预期效果三项。真正的能力是把数据读成业务。学习性拆解，原创案例，不含真题。
2026-10-21 09:48:47
716
原创 AI训练师二级02：业务分析题怎么拆，一个能套所有业务题的骨架
拆解AI训练师二级的业务分析题。这类题给行业场景和痛点，让你设计业务框架、流程和优化。这篇用原创的智能健身房场景，带你走通一套能套所有业务题的骨架：拆题提取得分点、八问想透场景、六层闭环架构搭框架、带判断和人工兜底画流程、痛点措施指标三联写优化。核心是换行业只换业务名词不换骨架，学会拆这一类题而非背某道题。学习性方法拆解，用原创案例，不含真题，以当年赛题为准。
2026-10-20 10:34:45
463
原创 AI训练师二级01：这证到底考什么、怎么备考，一篇讲清考试结构
开个新系列拆解AI训练师二级真题。这篇讲清考试结构：它考把AI落到真实业务的工程和方案能力。三大模块A理论30%、B技能操作50%(主战场四道题)、C综合评审20%,先B后C再A。四大知识主线：业务分析、智能训练、智能系统设计、培训与指导，和我之前的AI系列大量重合。评分分客观测量分和主观评价分，踩分关键是把要求的每个要点都答到而非堆名词。系列逐题拆解教方法和迁移，不教背答案。2025样题学习性梳理，以当年赛题为准。
2026-10-20 10:34:23
310
原创 【老计带你懂概率统计】01：为什么每个搞AI和做决策的人，都该懂点概率统计
概率统计是机器学习和一切数据分析的数学地基，也是这个时代不被数据忽悠的思维武器。这是《老计带你懂概率统计》系列的开篇，用大白话讲清为什么要懂它、确定性思维和概率性思维的区别，并给出全16篇的地图。它也是《老计带你懂AI算法》的姊妹篇兼地基篇，建议合起来看。
2026-10-19 10:18:52
262
原创 【老计带你懂概率统计】02：概率到底是什么，频率派和贝叶斯派的两种世界观
概率到底是什么？是抛硬币抛很多次正面出现的频率，还是你对一件事有多大把握的信念度？这篇讲清频率派和贝叶斯派两种世界观、古典概率和独立性，还破解了那个坑了无数人的赌徒谬误。用大白话和抛硬币的例子讲透，配可跑代码，是理解后面一切的起点。
2026-10-19 10:18:38
347
原创 【老计带你懂线性代数】13：线性代数与神经网络，系列收官
系列收官篇。这篇把整个神经网络用线性代数从头到尾串一遍，输入是向量、权重是矩阵、前向传播是矩阵乘法、连注意力都是矩阵运算，你会看到深度学习本质就是一串线代运算。再回顾全系列主线，把线代、概率统计、算法这三部曲合起来看，用纯NumPy搭一个能跑的迷你神经网络，配代码和运行输出。
2026-10-18 16:04:23
218
原创 【老计带你懂线性代数】12：矩阵分解与嵌入，把稀疏变稠密、把万物变向量
这篇把万物变向量这条主线收拢到线代的落点上。讲透矩阵分解的思想，把又大又稀疏的矩阵拆成两个小矩阵、学出隐向量，讲清推荐系统怎么靠它补全评分表猜你喜欢，再讲词嵌入的线代本质，把词变成稠密向量。嵌入是现代AI的核心，从推荐到大模型一以贯之，配NumPy代码和运行输出。
2026-10-18 16:03:41
425
原创 【老计带你懂线性代数】11：SVD奇异值分解，线代皇冠上的明珠
特征分解只能拆方阵，可现实里大量矩阵不是方阵。SVD能把任意矩阵拆成旋转、缩放、旋转三部分，是特征分解的终极推广，被称为线代皇冠上的明珠。这篇讲透SVD在拆什么、奇异值意味着什么、它和PCA的关系，以及在降维、推荐、压缩里的威力，还用它压缩一张图片，配NumPy代码。
2026-10-17 14:37:11
289
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人