大模型
文章平均质量分 86
small_wh1te_coder
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
AI技术总监级拆解大模型|第10讲:Attention 与 Transformer 到底在算什么?从 QKV 软寻址到 GPU 全流线并行
本文深度拆解Transformer核心——自注意力机制,揭示其本质为可微的动态软寻址内存总线。通过五步张量计算流(投影→打分→缩放→掩码→加权),阐明$ \frac{QK^T}{\sqrt{d_k}} $的方差归一化原理,避免Softmax梯度消失;剖析因果掩码如何在训练并行与推理串行间实现矛盾统一;并澄清多头注意力不增加参数量的数学本质:通过$ H $个独立小维度头并行计算,等效于单头大空间,实现高效并行。全篇以系统工程视角,打通数学、算法与GPU流水线的闭环。原创 2026-10-18 18:43:58 · 297 阅读 · 0 评论 -
AI技术总监级拆解大模型|第09讲:RNN、LSTM 与 Seq2Seq 如何处理序列?从隐藏状态递归到为什么被 Transformer 降维打击
RNN以$\mathcal{O}(T)$复杂度实现序列建模,却因梯度消失/爆炸在长程依赖中失效。其根源在于雅可比矩阵连乘导致的指数级衰减。LSTM通过门控机制构建“加法高速公路”,使梯度可无损传递,突破记忆瓶颈。然而,其递归本质仍受限于GPU并行架构,最终被$\mathcal{O}(T^2)$的Transformer取代——后者虽计算开销更高,却凭借全局注意力与硬件并行性,实现了表达力与工程效率的跃迁。原创 2026-10-18 18:31:21 · 397 阅读 · 0 评论 -
AI技术总监级拆解大模型|第18讲:分布式训练——多张 GPU 到底是怎么协同训出大模型的?以gemini为例
本讲从系统工程视角解析大模型分布式训练核心机制。当单卡显存不足或算力受限时,需通过多GPU协同解决“装不下”与“算太慢”问题。核心在于三大并行策略:数据并行(每卡存完整模型,分治数据)、张量并行(拆分大矩阵计算)、流水线并行(分步处理模型层)。通过进程、Rank、World Size等概念统一调度,降低通信与同步开销。关键挑战是平衡任务分配与跨卡通信成本,实现高效扩展。原创 2026-10-18 02:11:49 · 208 阅读 · 0 评论 -
AI技术总监级拆解大模型|第18讲:分布式训练——多张 GPU 怎样真正协同工作?
本讲以“多人协作做题”为隐喻,拆解多GPU协同训练的核心逻辑。通过数据并行(DP)、张量并行(TP)与流水线并行(PP)三种分工方式,阐明如何合理拆分任务以实现扩容与加速。重点解析梯度同步机制,强调AllReduce等集合通信在保持模型一致性中的关键作用,并指出GPU越多不等于越快——通信开销与负载均衡是瓶颈。最后用PyTorch DDP实战串联全流程,揭示分布式训练的本质:高效分工 + 低成本协同。原创 2026-10-16 16:49:47 · 249 阅读 · 0 评论 -
从赔偿50万到估值2亿美元:深度复盘田柯宇事件背后的VAR核心原理、世界模型架构与AI工程红线
2026年,前字节实习生田柯宇因自回归视觉模型(VAR)获NeurIPS最佳论文,创业实验室估值达2亿美元。事件从2024年训练干扰争议(终审赔50万)到技术突破,展现AI工程红线与创新价值的双重启示。VAR通过“下一尺度预测”重构生成逻辑,以多尺度并行推理实现仅需10步完成256×256图像生成,打破扩散模型垄断。其核心在于保持空间结构、提升效率,代码实现中引入安全校验机制防范集群污染。该案例揭示:技术硬实力终将超越场外争议,资本正为可扩展的世界模型底层范式买单。原创 2026-10-16 12:17:12 · 228 阅读 · 0 评论 -
AI技术总监级拆解大模型|第01—17讲全知识地图与硬核复盘(2):从 `Wx+b` 到 FlashAttention 的完整底层链路
从 Wx+b 到 FlashAttention,第01—17讲贯穿一条清晰主线:数据流经向量变换、梯度反传、硬件加速的完整闭环。从输入嵌入(Embedding)到Logits输出,经由Softmax与Cross-Entropy损失,通过链式法则反向传播梯度,再由优化器更新参数,最终在GPU显存与算力层级上高效执行。每一步都紧扣“形状变化”“梯度流动”与“硬件映射”,串联起数学基础、模型结构与系统工程,构建出可扩展、可复用的AI认知骨架。原创 2026-10-15 02:34:21 · 755 阅读 · 0 评论 -
AI技术总监级拆解大模型 第17讲:Tensor Core、HBM、SRAM 与 FlashAttention——大模型为什么会被“搬数据”拖慢?
大模型性能瓶颈常源于数据搬运而非计算本身。本文深入解析GPU内部架构:Tensor Core通过矩阵乘加加速,但需匹配混合精度与数据布局;内存层次(HBM、SRAM、Cache、Register)决定数据供给效率;算法优化如矩阵分块、Kernel Fusion和FlashAttention通过提升数据复用、减少显存往返,显著降低访存开销。真实性能取决于算力与内存带宽的协同,而非单纯追求峰值TFLOPS。原创 2026-10-12 01:43:30 · 285 阅读 · 0 评论 -
AnthropicOpenaiGoogle技术总监级拆解大模型|第10讲 Attention 与 Transformer 到底在算什么?Q、K、V 一次讲明白
本讲深入解析Attention与Transformer的核心机制。通过Q、K、V三要素,揭示Attention本质是“根据当前需求动态检索相关信息”:Query匹配Key,Softmax生成权重,加权求和Value,实现信息的精准重组。Self-Attention突破RNN序列依赖瓶颈,支持并行计算;Multi-Head机制让模型从多视角捕捉关系;位置编码弥补顺序缺失。最终,结合残差连接、LayerNorm与前馈网络,构成Transformer核心模块,奠定大模型高效建模基础。原创 2026-10-06 02:18:45 · 208 阅读 · 0 评论 -
AI技术总监级拆解大模型|第09讲 ## RNN、LSTM、Seq2Seq 到底解决了什么?为什么最后还是走向了 Transformer
本文系统梳理了从RNN到Transformer的序列建模技术演进:RNN首次引入记忆机制,但存在串行计算与梯度消失问题;LSTM通过门控机制改善长期依赖;Seq2Seq实现序列到序列转换,却面临固定长度上下文瓶颈;Attention机制突破信息压缩限制,实现动态聚焦;最终,Transformer以并行化设计融合注意力,成为大模型基石。技术演进本质是持续解决序列建模中的“记忆”“并行”与“长距依赖”难题。原创 2026-10-03 23:59:14 · 240 阅读 · 0 评论 -
AI技术总监带你吃透大模型|第08讲 CNN 到底在图片上算什么?一块卷积核看懂卷积、池化与特征提取
本讲从像素矩阵出发,揭示CNN本质:通过滑动卷积核在局部区域进行乘加运算,实现特征提取。对比全连接网络的参数爆炸问题,强调CNN的“局部连接”与“参数共享”两大核心优势。结合手算示例,解析卷积、池化、Stride、Padding等机制,并推导输出尺寸公式。最终将复杂的视觉模型还原为可编程的循环计算,帮助读者真正“手算懂CNN”。原创 2026-10-03 15:43:15 · 174 阅读 · 0 评论 -
AI技术总监带你吃透大模型|第07讲“猫”到底怎么变成 AI 能计算的数字?一文吃透 Token、Embedding 与向量表示
本讲揭秘文本如何转化为AI可计算的数字:通过分词(Token)→ 编号(Token ID)→ Embedding 查表,将“猫”等离散符号映射为稠密向量。核心是Embedding表([V,D])实现可学习的语义表示,避免One-Hot稀疏与数值误导。最终输出形状为[B,T,D],使模型在连续空间中理解语言。本质:训练塑造语义,而非预设规则。原创 2026-10-03 15:31:13 · 336 阅读 · 0 评论 -
字节AI总监带你吃透大模型06 30讲|从数学 → 算法 →代码->gpu
本讲从基础公式 $ z = Wx + b $ 和 $ a = \text{ReLU}(z) $ 出发,解析神经网络的核心构成:参数(W, b)、线性计算与非线性激活。强调神经网络本质是带可训练参数的复杂函数,通过多层“线性+激活”组合实现非线性建模。重点说明ReLU为何常用,解释为何不能仅堆叠Linear层,并引入MLP结构、参数量计算与Shape管理的重要性。最终将概念串联至PyTorch中的Tensor、GPU显存及后续架构如CNN、Transformer的基础逻辑。原创 2026-10-02 02:18:14 · 310 阅读 · 0 评论 -
AI技术总监带你吃透大模型|05|训练集99%,为什么模型上线却可能失效
模型训练后,如何判断是否真正学到了规律?关键在于泛化能力——即在未见过的数据上仍能表现良好。若训练准确率高但真实环境表现差,便是过拟合。为评估泛化,需将数据分为训练集(学参数)、验证集(调超参)、测试集(最终验收),避免测试集被反复使用。过拟合表现为训练损失下降而验证损失上升;欠拟合则两者均高。正则化(如L1/L2)通过惩罚过大参数,限制模型复杂度,提升泛化。核心思想:模型不仅要“记住”训练数据,更要“理解”其背后的规律。原创 2026-10-01 03:38:17 · 264 阅读 · 0 评论 -
AI技术总监带你吃透大模型|04|导数、梯度与优化,机器为什么能“自己学”?
本讲揭示机器学习“自我优化”的核心机制:通过导数与梯度,模型能精准判断参数调整方向。从单个参数的导数,到多参数的梯度,再到链式法则支撑的反向传播,最终实现“计算损失→求梯度→更新参数”的闭环。理解这一过程,便不再将loss.backward()视为黑盒,而是掌握深度学习自动优化的数学本质。原创 2026-09-30 00:55:52 · 336 阅读 · 0 评论 -
AI技术总监带你吃透大模型|03|大模型为什么用Cross-Entropy?终于把Logits、Softmax、Loss讲明白
本讲揭示语言模型如何将原始输出(logits)转化为概率,并通过损失函数衡量预测质量。核心链路为:logits → Softmax → 条件概率 → -log(p) → NLL Loss。模型先“报分”,再归一化为概率,真实答案的负对数似然即为损失,最终通过梯度反向传播优化参数。全程以问题驱动,结合代码与直觉,打通从数学表达到工程实现的认知闭环。原创 2026-09-28 01:40:55 · 303 阅读 · 0 评论 -
AI技术总监带你吃透大模型|02|AI为什么这么爱用矩阵?搞懂Wx+b,Transformer就没那么神秘了
AI 偏爱矩阵,因其本质是高效的数据变换工具。从 Wx + b 到 Attention 的 QKᵀ,核心都是向量与矩阵的乘加运算。向量代表对象的多维表示,内积衡量相似性,矩阵则实现线性变换,将输入映射为新表示。深度网络通过层层矩阵运算进行“表示学习”,而 Embedding、Attention 等机制皆可归结为矩阵操作。GPU 也因矩阵计算的高度并行性而成为训练主力。理解矩阵,即理解现代 AI 的底层逻辑。原创 2026-09-27 02:12:07 · 165 阅读 · 0 评论 -
大厂AI大牛带你吃透大模型背后原理
大模型本质是高维信息压缩的产物:在数十TB语料压缩至70GB参数的过程中,模型被迫学习底层生成规律,通过“接龙猜词”任务隐式构建世界模拟器。其演进源于计算图、并行架构与尺度定律的协同突破——从感知机链式法则到Transformer并行注意力,再到2022年代码预训练与RLHF触发智能涌现。核心原理可归结为:压缩即智能,预测即仿真,其底层是可微分的高维因果流形对齐,非黑箱,而是工程与数学精密耦合的动态系统。原创 2026-09-26 12:57:53 · 323 阅读 · 0 评论
分享