<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[voidmort的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/voidmort</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; voidmort]]></copyright><item><title><![CDATA[10. 理解 Embedding]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162791811</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162791811</guid><author>voidmort</author><pubDate>Thu, 05 Nov 2026 08:42:46 +0800</pubDate><description><![CDATA[这是很多人第一次看 GPT 代码时最困惑的地方。Token ID│▼Embedding│▼768维向量E∈RV×dE\inE∈RV×d输出时：[B,L,768]下一个 Token768↓50000logitshWTlogitshWTW∈RV×dW∈RV×d发现了吗？Embedding[V,d][V,d]直接共用同一个矩阵WEW = EWE这样可以减少参数量并提升语言模型效果。]]></description><category></category></item><item><title><![CDATA[11. 理解 CausalLM]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162792065</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162792065</guid><author>voidmort</author><pubDate>Thu, 22 Oct 2026 15:50:17 +0800</pubDate><description><![CDATA[这张图基本对应了你贴出的的完整执行链路，也是 Llama、Qwen、DeepSeek、GPT 等现代自回归大模型的标准架构。]]></description><category></category></item><item><title><![CDATA[13. 理解监督微调]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162792220</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162792220</guid><author>voidmort</author><pubDate>Thu, 22 Oct 2026 15:49:46 +0800</pubDate><description><![CDATA[fill:#333;important;important;fill:none;color:#333;color:#333;important;fill:none;fill:#333;height:1em;海量文本Pretrain模型学会知识语言、数学、代码SFT 对话数据TokenizerToken序列Loss Mask只更新回答部分梯度模型学会如何回答问题Pretrain 教模型会写，SFT 教模型会答。Chat Template 负责告诉模型谁在说话。]]></description><category></category></item><item><title><![CDATA[12. 理解预训练]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162792193</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162792193</guid><author>voidmort</author><pubDate>Thu, 22 Oct 2026 15:49:13 +0800</pubDate><description><![CDATA[Loss−log⁡PLoss−logP正确答案概率PLoss1.000.90.0460.50.30.110.012。]]></description><category></category></item><item><title><![CDATA[9. 理解 Tokenizer]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162791672</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162791672</guid><author>voidmort</author><pubDate>Tue, 18 Aug 2026 09:13:10 +0800</pubDate><description><![CDATA[它负责把文本变成数字（Token ID），再把数字还原成文本。所以在进入模型之前，必须经过 Tokenizer。]]></description><category></category></item><item><title><![CDATA[8. 理解 Dataset]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162791545</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162791545</guid><author>voidmort</author><pubDate>Tue, 18 Aug 2026 09:12:25 +0800</pubDate><description><![CDATA[模型结构决定能力上限，数据流水线决定训练效率和最终效果。在工业界，大模型训练中花时间最多的往往不是模型，而是数据。]]></description><category></category></item><item><title><![CDATA[7. 理解 FFN（SwiGLU）]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162791303</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162791303</guid><author>voidmort</author><pubDate>Wed, 12 Aug 2026 10:19:59 +0800</pubDate><description><![CDATA[理解 SwiGLU 前必须先理解 GLU。]]></description><category></category></item><item><title><![CDATA[6. 理解 GQA]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162791181</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162791181</guid><author>voidmort</author><pubDate>Wed, 12 Aug 2026 10:19:13 +0800</pubDate><description><![CDATA[保留大量 Query Head 的表达能力，让多个 Query Head 共享较少数量的 Key/Value Head，从而大幅减少 KV Cache，占用更少显存，同时保持接近 Multi-Head Attention 的效果。GQA 的完整数学推导Llama3 中的具体实现PyTorch 版 GQA 源码逐行解析KV Cache 为什么能从 GQA 中获得巨大收益FlashAttention 与 GQA 的关系。]]></description><category></category></item><item><title><![CDATA[5. 理解 ResNet]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162791008</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162791008</guid><author>voidmort</author><pubDate>Sat, 11 Jul 2026 14:23:09 +0800</pubDate><description><![CDATA[ResNet（残差网络）是何恺明（Kaiming He）等人在 2015 年提出的一种深度神经网络结构，论文标题为《Deep Residual Learning for Image Recognition》。它最大的贡献是提出了或，解决了深层神经网络难以训练的问题。该工作获得了 ILSVRC 2015 图像分类冠军，并成为现代深度学习最重要的基础架构之一。]]></description><category></category></item><item><title><![CDATA[4. 理解 YaRN]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162790897</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162790897</guid><author>voidmort</author><pubDate>Sat, 11 Jul 2026 14:17:56 +0800</pubDate><description><![CDATA[YaRN 的成功，本质上是对 Transformer 位置编码底层逻辑的一次深刻回归。在 RoPE 的频率空间中，高频负责局部细节，低频负责全局轮廓。通过构建巧妙的 Ramp 函数进行分段插值，再辅以 Attention 温度修正，YaRN 实现了“既要又要”：既保留了预训练模型强大的短文理解能力，又解锁了远超训练长度的长文处理空间。这也是为什么今天大量标榜支持 64K、128K 甚至更大上下文窗的开源大模型，其底层依然流淌着 YaRN 及其变种的血液。]]></description><category></category></item><item><title><![CDATA[3. 理解 RoPE]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162786584</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162786584</guid><author>voidmort</author><pubDate>Sat, 11 Jul 2026 14:12:57 +0800</pubDate><description><![CDATA[RoPE 中后面的维度虽然频率越来越低，但它们并不是“没用的维度”。高频维度负责区分相邻 Token；中频维度负责建模中距离关系；低频维度负责保持长距离位置信息；所有频率共同构成一种类似傅里叶基函数的多尺度位置表示。因此 RoPE 可以理解为：用大量不同转速的“位置时钟”共同描述 Token 的位置，而低频时钟正是模型理解长上下文的关键。RoPE 的核心思想可以概括为一句话：不再给 Token 添加位置向量，而是根据位置对 Query 和 Key 进行旋转。对于位置mmm和nn。]]></description><category></category></item><item><title><![CDATA[2. 理解 RMSNorm]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162786424</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162786424</guid><author>voidmort</author><pubDate>Sat, 11 Jul 2026 11:27:35 +0800</pubDate><description><![CDATA[yxRMSxγyRMSxx​γRMSx1d∑i1dxi2RMSxd1​i1∑d​xi2​​ddd表示向量维度。没有均值计算。不求μ\muμ不减μ\muμ不求方差只计算 RMS（均方根）。RMSx1d∑i1dxi2RMSxd1​i1∑d​xi2​​本质上可以理解为：向量整体大小（Magnitude）的度量。]]></description><category></category></item><item><title><![CDATA[1. 理解 Transformer Attention]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162785910</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162785910</guid><author>voidmort</author><pubDate>Sat, 11 Jul 2026 11:20:31 +0800</pubDate><description><![CDATA[QKTQK^TQKT很多人会问：为什么非要乘转置？]]></description><category></category></item><item><title><![CDATA[18. 如何训练一个会思维链（CoT）的模型]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/162718155</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/162718155</guid><author>voidmort</author><pubDate>Thu, 09 Jul 2026 09:24:07 +0800</pubDate><description><![CDATA[DeepSeek-R1最大的经验不是“用RL学会推理”，而是先用少量高质量CoT数据教会模型输出<think>格式，再通过RL激发推理能力，最后利用拒绝采样生成大规模推理数据完成能力扩展。这也是目前训练 Reasoning Model 最主流的路线。]]></description><category></category></item><item><title><![CDATA[20. 从训练到生产——大模型上线与持续迭代]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/161547611</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/161547611</guid><author>voidmort</author><pubDate>Thu, 09 Jul 2026 09:19:46 +0800</pubDate><description><![CDATA[Question↓Answer一次输入。一次输出。Question↓Planning↓Tool Use↓↓Reasoning↓AnswerAgent 不只是回答问题，而是主动完成任务。查询天气规划旅行分析财务数据自动生成报告调用外部系统问题优先方案新知识RAG过时知识RAG输出风格SFT用户偏好RL工具调用SFT + RL小 BugPrompt新技能SFT推理能力RL数据↓训练↓评测↓部署↓用户反馈↓数据↓再训练。]]></description><category></category></item><item><title><![CDATA[19. 合成数据（Synthetic Data）与模型对齐]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/161547606</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/161547606</guid><author>voidmort</author><pubDate>Thu, 09 Jul 2026 09:18:41 +0800</pubDate><description><![CDATA[合成数据已经成为现代大模型训练的核心基础设施。Generate→ Filter→ Score→ Train而在模型对齐中，Anthropic 的 Constitutional AI 和 RLAIF 展示了一条重要路线：用 AI 生成数据、AI 评审数据、AI 训练奖励模型，再通过 RL 完成对齐。数据质量、数据配比、奖励设计以及是否保留原有通用能力。]]></description><category></category></item><item><title><![CDATA[18. 如何训练一个会思维链（CoT）的模型]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/161547600</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/161547600</guid><author>voidmort</author><pubDate>Thu, 25 Jun 2026 09:21:29 +0800</pubDate><description><![CDATA[DeepSeek-R1最大的经验不是“用RL学会推理”，而是先用少量高质量CoT数据教会模型输出<think>格式，再通过RL激发推理能力，最后利用拒绝采样生成大规模推理数据完成能力扩展。这也是目前训练 Reasoning Model 最主流的路线。]]></description><category></category></item><item><title><![CDATA[17. 强化学习需要什么数据？]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/161547591</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/161547591</guid><author>voidmort</author><pubDate>Thu, 25 Jun 2026 09:21:01 +0800</pubDate><description><![CDATA[数据类型用途Trajectory训练策略模型Preference训练奖励模型PromptPromptResponseReward对于大多数 RL 项目，5k~20k 高质量偏好数据已经能够训练出有效的 Reward Model；20k~100k 通常是性价比最高的区间。相比盲目增加数据量，更重要的是提高数据质量、过滤噪声样本，并持续通过评估和误差分析迭代奖励模型。]]></description><category></category></item><item><title><![CDATA[16. 训练到底需要多少数据？]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/161547580</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/161547580</guid><author>voidmort</author><pubDate>Wed, 24 Jun 2026 10:05:16 +0800</pubDate><description><![CDATA[训练需要多少数据，并不取决于任务本身，而取决于预训练模型距离目标能力还有多远。因此最佳实践通常是：先用 LoRA + 少量高质量数据验证方向，再通过评估和误差分析持续增加针对性样本，而不是一开始就准备海量数据。]]></description><category></category></item><item><title><![CDATA[15. 如何构建一个好的评估体系（Evaluation System）]]></title><link>https://blog.youkuaiyun.com/voidmort/article/details/161547577</link><guid>https://blog.youkuaiyun.com/voidmort/article/details/161547577</guid><author>voidmort</author><pubDate>Wed, 24 Jun 2026 10:04:48 +0800</pubDate><description><![CDATA[本文探讨了模型评估的关键原则与实践方法。核心观点指出：评估质量比规模更重要，初期应聚焦20-100个高质量问题，由专家设计以精准发现问题。评估体系应具备迭代性，通过"测试-分析-扩展"循环逐步完善，重点覆盖目标能力的各个维度。文章强调需进行稳定性测试（多随机种子验证）和系统性安全评估（包括红队测试、提示词注入等对抗性测试），并提出了五层防护体系。最终总结优秀评估是持续闭环系统，需平衡能力评测、安全测试和误差分析，而非单纯追求题库规模。]]></description><category></category></item></channel></rss>