<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Bug_makerACE的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Bug_makerACE</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Bug_makerACE]]></copyright><item><title><![CDATA[【深度长文】大模型分布式训练通信原语及其应用]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/158774371</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/158774371</guid><author>Bug_makerACE</author><pubDate>Sat, 07 Mar 2026 17:19:43 +0800</pubDate><description><![CDATA[本文会从基础概念→基础原语→核心进阶原语→大模型训练落地场景，逐层系统讲解，完全贴合新手学习的大模型分布式训练场景。]]></description><category></category></item><item><title><![CDATA[飞书批量下载工具开发记录：从痛点到解决方案]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/158699246</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/158699246</guid><author>Bug_makerACE</author><pubDate>Thu, 05 Mar 2026 16:36:49 +0800</pubDate><description><![CDATA[这个工具从发现问题到完成开发，花了一个下午的时间。技术实现并不复杂，但解决了一个实实在在的痛点。有时候，最有价值的工具不是技术最复杂的，而是真正解决了用户问题的。飞书作为一个优秀的协作工具，在很多方面做得很好。但批量下载这个基础功能的缺失，确实影响了用户体验。希望官方能够重视这个需求，在未来的版本中加入批量导出功能。在那之前，这个开源工具可以作为一个临时的解决方案。]]></description><category></category></item><item><title><![CDATA[Elastic Attention：将 MoE 路由引入 Attention，让大模型长文本推理“该省省，该花花”]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/157434557</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/157434557</guid><author>Bug_makerACE</author><pubDate>Tue, 27 Jan 2026 16:36:44 +0800</pubDate><description><![CDATA[Elastic Attention 是我们在 Dynamic Sparse Attention 方向的一次尝试。通过引入 MoE 路由机制，我们打破了静态稀疏注意力的限制，证明了“动态路由”在 Attention 层同样大有可为。目前代码、模型和论文均已开源，欢迎大家 Star、引用和交流！PaperCodeModel如果你对长文本优化、MoE 架构或底层算子优化感兴趣，欢迎在评论区留言讨论！]]></description><category></category></item><item><title><![CDATA[【深度长文】RLHF 算法全景解析：从 PPO 到 DPO/GRPO 的范式革命]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/155199475</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/155199475</guid><author>Bug_makerACE</author><pubDate>Mon, 24 Nov 2025 18:00:24 +0800</pubDate><description><![CDATA[本文围绕 LLM 训练的 PPO、DPO、GRPO 三种算法展开，以 PO 统一视角解析核心逻辑，对比各算法组件、显存压力等差异。]]></description><category></category></item><item><title><![CDATA[FP32/FP16/BF16/FP8...一文搞懂大模型数据类型变迁]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/154498611</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/154498611</guid><author>Bug_makerACE</author><pubDate>Thu, 06 Nov 2025 20:45:15 +0800</pubDate><description><![CDATA[摘要：大语言模型的数据类型选择直接影响训练效率与推理性能。FP32因显存占用过高逐渐被替代；FP16虽提速但易下溢，需混合精度训练；BF16凭借与FP32相同的数值范围成为当前训练主力；FP8因高效计算成为推理新宠；整数类型（INT8/INT4）适合资源受限场景。未来趋势是动态混合精度，根据模型层级的敏感度差异化选择数据类型，在精度与效率间寻找最优平衡。数据类型演变反映LLM“效率优先”的发展逻辑。]]></description><category></category></item><item><title><![CDATA[解读DeepSeek-V3.2-Exp：基于MLA架构的Lightning Index如何重塑长上下文效率]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/152522990</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/152522990</guid><author>Bug_makerACE</author><pubDate>Sat, 04 Oct 2025 23:58:02 +0800</pubDate><description><![CDATA[DeepSeek-V3.2-Exp中的Lightning Index，为长上下文LLM的效率优化提供了一个“精准且轻量”的新范式。效率与性能的平衡：通过代码中“少头+FP8+KL对齐”的设计，在大幅降低计算成本的同时，保持了模型的任务性能；架构兼容性：深度适配MLA的MQA模式，无需重构现有模型，为已有长上下文模型的效率升级提供了可复用的方案；落地实用性：基于真实GPU集群的优化代码（如TileLang核函数、分布式并行），使推理成本降低的效果可直接转化为业务价值。动态调整index_topk。]]></description><category></category></item><item><title><![CDATA[Stanford CS336 | Assignment 2 - FlashAttention-v2 Pytorch & Triotn实现]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/151656293</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/151656293</guid><author>Bug_makerACE</author><pubDate>Sat, 13 Sep 2025 19:02:50 +0800</pubDate><description><![CDATA[算法层面：理解了分块计算和LogSumExp技巧如何将注意力的显存复杂度从O(T²d)降至O(Td)，为处理长序列（如8k、16k）提供了可能；工程层面：掌握了Triton框架的核心用法——通过块指针高效访问内存、利用共享内存减少全局内存访问、设计合理的分块策略适配GPU硬件；性能层面：验证了FlashAttention在长序列场景下的显著优势，为Transformer模型的工程落地提供了关键优化手段。扩展方向支持多头注意力的融合计算（当前版本为单头，多头可通过维度拆分实现）；]]></description><category></category></item><item><title><![CDATA[Stanford CS336 | Assignment 1 - Transformer Language Model Architecture]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/151655954</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/151655954</guid><author>Bug_makerACE</author><pubDate>Sat, 13 Sep 2025 18:36:50 +0800</pubDate><description><![CDATA[本文介绍了基于Transformer的语言模型实现细节，重点剖析了核心组件与训练流程。主要内容包括： 模型架构：采用仅解码器的Transformer结构，包含RoPE位置编码、RMSNorm归一化和SwiGLU前馈网络等现代设计。 关键组件实现： 基础层：无偏置线性层、词嵌入层和RMSNorm归一化 注意力机制：旋转位置编码(RoPE)增强位置感知 前馈网络：SwiGLU激活函数提升表达能力 训练支持： 自定义AdamW优化器 学习率调度和梯度裁剪 断点续训功能 该实现从底层构建了完整的Transforme]]></description><category></category></item><item><title><![CDATA[Standford CS336 | Assignment 1 - Implementing the tokenizer]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/149278120</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/149278120</guid><author>Bug_makerACE</author><pubDate>Fri, 11 Jul 2025 17:01:07 +0800</pubDate><description><![CDATA[本次作业的核心任务是实现一个Tokenizer类，该类基于训练得到的词汇表（vocab）和合并规则（merges），能够将文本编码为整数 ID 序列，以及将整数 ID 序列解码为文本。同时，需要支持用户提供的特殊符号。编码（encode）：将输入的文本字符串转换为 token ID 列表。过程需先进行预分词，再应用 BPE 合并规则。解码（decode）：将 token ID 列表转换为文本字符串。对于无效的 token ID，需用 Unicode 替换字符（U+FFFD）处理。支持从文件加载：实现。]]></description><category></category></item><item><title><![CDATA[Stanford CS336 | Assignment 1 - BPE Tokenizer Training 实现]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/149248369</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/149248369</guid><author>Bug_makerACE</author><pubDate>Thu, 10 Jul 2025 14:07:19 +0800</pubDate><description><![CDATA[本次任务目标是在 TinyStories 数据集上训练一个字节级 BPE 分词器。如图所示，需要完成函数train_bpe。初始化：以所有可能的字节（0-255）作为初始词汇表；预处理：将文本分割为初始令牌（字节序列）；合并：统计所有字节对的频率，合并最频繁的对并更新词汇表，重复此过程直至达到目标词汇量。]]></description><category></category></item><item><title><![CDATA[ios::sync_with_stdio(false)和puts(“0“)会导致程序错误？谈C++输入输出同步的那些坑]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/147126125</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/147126125</guid><author>Bug_makerACE</author><pubDate>Thu, 10 Apr 2025 19:48:21 +0800</pubDate><description><![CDATA[谨慎对待输入输出流！]]></description><category></category></item><item><title><![CDATA[大模型（LLM）微调方法分类框架]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/146141616</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/146141616</guid><author>Bug_makerACE</author><pubDate>Mon, 10 Mar 2025 08:00:00 +0800</pubDate><description><![CDATA[大模型微调方法可以按照多个维度进行分类。以下是一个系统化的分类框架，结合技术原理、应用场景和资源需求，帮助你理解不同方法的定位和特点]]></description><category></category></item><item><title><![CDATA[大模型解码策略详解：top-k、top-p与temperature]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145923880</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145923880</guid><author>Bug_makerACE</author><pubDate>Fri, 28 Feb 2025 11:31:17 +0800</pubDate><description><![CDATA[在大模型中，top-k和top-p（核采样）是两种常用的解码策略参数，用于控制生成文本的多样性和随机性。]]></description><category></category></item><item><title><![CDATA[LLaMA论文+源码分享]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145629882</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145629882</guid><author>Bug_makerACE</author><pubDate>Fri, 14 Feb 2025 11:50:48 +0800</pubDate><description><![CDATA[含LLaMA论文地址+解读视频+源码地址分享！]]></description><category></category></item><item><title><![CDATA[一杯咖啡的时间学习大模型（LLM）：LLaMA解读之分组查询注意力（Grouped Query Attention）]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145629111</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145629111</guid><author>Bug_makerACE</author><pubDate>Fri, 14 Feb 2025 11:31:12 +0800</pubDate><description><![CDATA[一文读懂LLaMA核心架构之分组查询注意力（Grouped Query Attention）]]></description><category></category></item><item><title><![CDATA[一杯咖啡的时间学习大模型（LLM）：LLaMA解读之SwiGLU激活函数]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145626525</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145626525</guid><author>Bug_makerACE</author><pubDate>Fri, 14 Feb 2025 09:57:20 +0800</pubDate><description><![CDATA[一问读懂LLaMA核心架构之SwiGLU激活函数]]></description><category></category></item><item><title><![CDATA[一杯咖啡的时间学习大模型（LLM）：LLaMA解读之均方根误差标准化RMSNorm（含代码实现）]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145621694</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145621694</guid><author>Bug_makerACE</author><pubDate>Thu, 13 Feb 2025 22:35:39 +0800</pubDate><description><![CDATA[一文读懂LLaMA核心架构之均方根误差标准化RMSNorm（含代码实现）]]></description><category></category></item><item><title><![CDATA[一杯咖啡的时间学习大模型（LLM）：LLaMA解读之旋转编码RoPE（含代码实现）]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145614732</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145614732</guid><author>Bug_makerACE</author><pubDate>Thu, 13 Feb 2025 22:01:09 +0800</pubDate><description><![CDATA[一问搞懂LLaMA的架构之旋转编码（RoPE, Rotary Position Embedding）]]></description><category></category></item><item><title><![CDATA[大模型（LLM）入门学习路线分享（内含计划表和时间安排）]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145524603</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/145524603</guid><author>Bug_makerACE</author><pubDate>Sat, 08 Feb 2025 23:16:33 +0800</pubDate><description><![CDATA[大模型（LLM）学习路线总结，快速入门大模型，一起成为LLM高手！]]></description><category></category></item><item><title><![CDATA[【Linux基础】关于Linux Shell中参数的引用（双引号““、反斜杠）的疑难杂症]]></title><link>https://blog.youkuaiyun.com/Bug_makerACE/article/details/144047250</link><guid>https://blog.youkuaiyun.com/Bug_makerACE/article/details/144047250</guid><author>Bug_makerACE</author><pubDate>Tue, 26 Nov 2024 02:30:51 +0800</pubDate><description><![CDATA[通过上面的分析，我们可以总结出以下几点关键概念：双引号：当你使用双引号引用变量时，Shell 会保留其中的空格、换行符和其他特殊字符的格式，不会对它们进行修改。变量引用（$b）：当你引用变量时，Shell 会自动将其中的换行符替换为空格，除非你使用双引号来保留格式。转义字符（\n）：在双引号中，\n只是普通的字符序列，除非使用-e选项启用解析，才会被解释为换行符。]]></description><category></category></item></channel></rss>