<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[pae_train_group2的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/pae_train_group2</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; pae_train_group2]]></copyright><item><title><![CDATA[Pytorch图模式技术原理解析]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/166139315</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/166139315</guid><author>pae_train_group2</author><pubDate>Sun, 20 Sep 2026 19:20:25 +0800</pubDate><description><![CDATA[在深度学习框架中，图模式通过将模型计算编译为高效内核来提升执行性能，是 PyTorch 2.x 的核心能力。本文系统解析了 PyTorch 图模式的整体技术原理，涵盖 TorchDynamo 字节码捕获、AOTAutograd 前反向图生成、TorchInductor 算子融合与内核生成等关键环节，并以端到端示例展示编译加速效果，为理解图模式编译流程与进行性能优化提供参考。]]></description><category></category></item><item><title><![CDATA[On-Policy Distillation：原理、变体与工程实现解析]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/166139275</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/166139275</guid><author>pae_train_group2</author><pubDate>Sun, 20 Sep 2026 19:17:41 +0800</pubDate><description><![CDATA[在大语言模型的后训练阶段，如何高效利用教师模型的知识来提升学生模型性能，是一个核心挑战。传统强化学习（RL）信号稀疏，监督微调（SFT）存在分布偏移问题。On-Policy Distillation（OPD）结合两者优势：让学生从自身分布采样轨迹，同时由教师提供逐 token 的密集反馈，从而在避免分布偏移的同时大幅提升信号密度。本文从原理、变体到工程实现，系统解析 OPD 的设计思路与落地细节。昇腾平台当前已支持On-Policy Distillation后训练。]]></description><category></category></item><item><title><![CDATA[slime 源码走读：SGLang-Native 推理架构解析（下）]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/166139243</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/166139243</guid><author>pae_train_group2</author><pubDate>Sun, 20 Sep 2026 19:14:17 +0800</pubDate><description><![CDATA[昇腾平台当前已支持slime框架本文是 slime 源码走读系列的推理架构部分的下篇。上篇介绍了 slime 的推理整体架构——服务化推理、四级层级、三条通信路径、SGLangEngine 遥控器、sgl-router 等。如果还没读过、强烈建议先读上篇，本文会反复引用其中的设定。如果不想跳回去翻，简单复述一下走读配置和架构骨架。走读配置--actor-num-gpus-per-node 4 \ # 训练占 4 GPU--rollout-num-gpus 4 \ # 推理占 4 GPU。]]></description><category></category></item><item><title><![CDATA[slime 源码走读：SGLang-Native 推理架构解析（上）]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/166139182</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/166139182</guid><author>pae_train_group2</author><pubDate>Sun, 20 Sep 2026 19:10:47 +0800</pubDate><description><![CDATA[昇腾平台当前已支持slime框架前不久搞了一段时间的 OpenClaw-RL，算是第一次在 slime 框架上完成了一次实战。此前只停留于源码走读，并不深入，趁着这个机会，刚好整理一下对 slime 框架推理部分的源码走读。本文走读所参照的启动配置来自--actor-num-gpus-per-node 4 \ # 训练占 4 GPU--rollout-num-gpus 4 \ # 推理占 4 GPU--rollout-num-gpus-per-engine 2 \ # 每个推理引擎 TP=2。]]></description><category></category></item><item><title><![CDATA[从级联架构到生成式推荐：推荐算法演进与昇腾落地]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/166138518</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/166138518</guid><author>pae_train_group2</author><pubDate>Sun, 20 Sep 2026 18:22:25 +0800</pubDate><description><![CDATA[本文按"算法演进 → 工程落地"的主线，系统梳理生成式推荐（Generative Recommendation, GR）这一方向的发展脉络。第一部分回顾传统级联推荐架构的系统性瓶颈；第二部分以 Meta GR（HSTU）和快手 OneRec 为代表，剖析两条主流的生成式推荐技术路线；第三部分聚焦工程落地，介绍 TorchRec 生态以及基于昇腾 NPU 打造的 RecSDK 框架，展示从算法到生产部署的基本链路。]]></description><category></category></item><item><title><![CDATA[FSDP 源码解析：初始化与显存分配]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/162042575</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/162042575</guid><author>pae_train_group2</author><pubDate>Tue, 16 Jun 2026 18:19:39 +0800</pubDate><description><![CDATA[说到分布式训练框架，Megatron-LM、FSDP 和 DeepSpeed 是绕不开的三个名字。本系列聚焦 PyTorch 原生的 FSDP（FullyShardedDataParallel），结合源码梳理其核心机制，并在关键节点与 DeepSpeed ZeRO-3 进行对照，帮助读者在两套实现之间建立清晰的认知映射。]]></description><category></category></item><item><title><![CDATA[FSDP1 wrap 与 ignore 机制详解：多模态模型冻结视觉塔的完整方案]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/162039090</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/162039090</guid><author>pae_train_group2</author><pubDate>Tue, 16 Jun 2026 16:06:10 +0800</pubDate><description><![CDATA[本文是 FSDP 源码解析系列的工程实践篇。当前已有大量文章介绍 FSDP 的初始化、前向反向链路与预取机制，本文聚焦一个在多模态模型训练中反复出现的工程问题：视觉塔冻结时，如何正确配置 wrap_policy 与 ignored_modules，在保住分片收益的同时，消除冻结参数带来的冗余通信与计算开销。FSDP2 从设计层面规避了本文的大多数问题——基于 DTensor 的原生分片不再依赖 FlatParameter，冻结参数的处理也更为自然。指标优化方案基线变化Actor 更新耗时 (s)]]></description><category></category></item><item><title><![CDATA[DeepSpeed ZeRO-3 源码解析：前向与反向]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/161283672</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/161283672</guid><author>pae_train_group2</author><pubDate>Thu, 21 May 2026 13:10:35 +0800</pubDate><description><![CDATA[昇腾实战派 * silas。]]></description><category></category></item><item><title><![CDATA[DeepSpeed ZeRO-3 源码解析：初始化与显存分配]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/161283102</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/161283102</guid><author>pae_train_group2</author><pubDate>Thu, 21 May 2026 13:04:07 +0800</pubDate><description><![CDATA[param.ds_tensor 是 ZeRO-3 参数分片的。]]></description><category></category></item><item><title><![CDATA[多模态理解类模型技术小结]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/160600874</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/160600874</guid><author>pae_train_group2</author><pubDate>Tue, 28 Apr 2026 20:19:00 +0800</pubDate><description><![CDATA[多模态大模型（Multimodal Large Language Models, MLLMs）通过整合图像、文本、语音、视频等多种信息形式，实现跨模态的语义理解与生成能力。]]></description><category></category></item><item><title><![CDATA[Deepspeed框架并行算法解析]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/160600700</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/160600700</guid><author>pae_train_group2</author><pubDate>Tue, 28 Apr 2026 20:00:07 +0800</pubDate><description><![CDATA[随着大模型时代的到来，训练千亿参数级别的深度神经网络对显存、计算资源和通信效率提出了前所未有的挑战。传统的单机单卡训练模式已无法满足需求，分布式训练成为主流。然而，数据并行带来的显存冗余、流水线并行的高通信开销等问题严重制约了训练效率。在此背景下，DeepSpeed作为由微软开源的高性能深度学习优化库，凭借其创新的ZeRO内存优化技术、灵活的并行策略与高效的通信原语，为大规模模型训练提供了系统性解决方案。]]></description><category></category></item><item><title><![CDATA[基于昇腾的多模态模型后训练性能优化实践]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/160060921</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/160060921</guid><author>pae_train_group2</author><pubDate>Sat, 11 Apr 2026 22:19:26 +0800</pubDate><description><![CDATA[本文基于VeRL开源框架，针对Qwen3-VL-8B模型在Atlas 800T A2硬件平台上的GRPO后训练流程，系统性地开展性能瓶颈分析与优化，通过推理与训练双路径协同调优，实现端到端性能提升30%。]]></description><category></category></item><item><title><![CDATA[VeRL 强化学习框架中的数据流与 PPO 损失计算详解]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/160060690</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/160060690</guid><author>pae_train_group2</author><pubDate>Sat, 11 Apr 2026 22:03:47 +0800</pubDate><description><![CDATA[本文将深入剖析 VeRL 在 LLM-RLHF 训练中的核心数据流转机制与 PPO 损失计算逻辑，涵盖从数据预处理到策略更新的完整闭环。]]></description><category></category></item><item><title><![CDATA[投机推理技术原理]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/159931632</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/159931632</guid><author>pae_train_group2</author><pubDate>Tue, 07 Apr 2026 22:38:27 +0800</pubDate><description><![CDATA[投机推理（Speculative Decoding）是在大模型推理阶段广泛采用的一类性能优化技术，核心目标是在不降低输出质量（或在可控范围内）的前提下，显著降低推理时延并提高吞吐量。该方法已成为当前主流大模型推理系统的关键工程手段。]]></description><category></category></item><item><title><![CDATA[多层感知机（MLP）：深度学习中的基础构建模块]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/159897096</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/159897096</guid><author>pae_train_group2</author><pubDate>Tue, 07 Apr 2026 00:31:34 +0800</pubDate><description><![CDATA[本文将系统介绍 MLP 的结构原理、核心特性、典型应用场景，并结合昇腾 NPU 的硬件优势，探讨其在实际部署中的优化路径。]]></description><category></category></item><item><title><![CDATA[混合专家模型（MoE）架构深度解析：从专家本质到负载均衡]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/159589241</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/159589241</guid><author>pae_train_group2</author><pubDate>Sun, 29 Mar 2026 00:48:07 +0800</pubDate><description><![CDATA[随着大语言模型规模持续扩大，参数量与计算开销呈指数级增长，传统稠密模型在推理效率与训练成本上面临严峻挑战。混合专家模型（Mixture of Experts, MoE）应运而生，通过引入稀疏激活机制，在保持模型容量的同时显著降低实际计算量。MoE 的核心思想是将前馈神经网络（FFN）层拆分为多个独立的“专家”子网络，由门控路由机制动态选择最适配的少数专家进行计算。本文将从专家本质、路由机制与负载均衡三个维度，深入剖析 MoE 架构的技术原理，并结合主流专家策略，为开发者提供系统性理解与实践参考。]]></description><category></category></item><item><title><![CDATA[WeMM多模态大模型在MindIE-LLM框架上的迁移适配实践]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/158612070</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/158612070</guid><author>pae_train_group2</author><pubDate>Tue, 03 Mar 2026 10:59:04 +0800</pubDate><description><![CDATA[WeMM 是 WeChatCV 推出的最新一代多模态大语言模型。WeMM 具备动态高分辨率图片下的中英双语对话能力，在多模态大语言模型的榜单中是百亿参数级别最强模型，整体测评结果（Avg Rank）位居第一梯队。本文记录了将WeMM多模态大模型适配到MindIE-LLM推理框架的完整过程，迁移过程中重点解决了模型结构分析、权重转换、Embedding融合和服务化对接等关键技术挑战。]]></description><category></category></item><item><title><![CDATA[VILA1.5-8b40b模型昇腾NPU迁移适配实践]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/158580952</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/158580952</guid><author>pae_train_group2</author><pubDate>Mon, 02 Mar 2026 17:29:48 +0800</pubDate><description><![CDATA[VILA 是由 NVIDIA Research 和 麻省理工学院 联合开发的一系列高性能视觉语言模型，它融合了计算机视觉和自然语言处理两大领域的技术，旨在实现更加智能和自然的图像理解和语言交互。VILA 是一种将视觉信息引入 LLM 的视觉语言模型，由视觉编码器、LLM 和投影仪组成，它们桥接了来自两种模态的嵌入。为了利用强大的 LLM，VILA 使用视觉编码器将图像或视频编码为视觉标记，然后将这些视觉标记输入 LLM，就好像它们是外语一样。这种设计可以处理任意数量的交错图像文本输入。]]></description><category></category></item><item><title><![CDATA[强化学习场景分布式框架ray相关方案介绍]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/158580522</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/158580522</guid><author>pae_train_group2</author><pubDate>Mon, 02 Mar 2026 17:09:08 +0800</pubDate><description><![CDATA[随着强化学习的热潮，ray这个分布式框架伴随着verl开始占据人们的视野，越来越多人选择用ray来实现自己的强化学习框架。这里简单从以下四个维度介绍ray框架的相关方案。本文仅介绍其中的ray基本概述这一章节。接触任何新框架时，我们总会围绕三个核心问题展开探索：它是什么？为何而生？该如何用？对于Ray这一分布式计算框架，我们同样从这三个维度切入，快速建立认知框架——前两个问题将简要带过（深入可参考其奠基论文），本文核心聚焦于实际使用层面的技术细节。Ray是由伯克利大学RISE实验室提出的。]]></description><category></category></item><item><title><![CDATA[triton算子性能测试指导]]></title><link>https://blog.youkuaiyun.com/pae_train_group2/article/details/158508258</link><guid>https://blog.youkuaiyun.com/pae_train_group2/article/details/158508258</guid><author>pae_train_group2</author><pubDate>Sat, 28 Feb 2026 17:35:08 +0800</pubDate><description><![CDATA[本文介绍了triton算子性能测试方法，重点讲解了triton.testing模块中的do_bench基准测试工具和perf_report+Benchmark性能对比方案。do_bench通过设备同步、缓存清除等机制提供精确性能测量，支持多种统计方式。文章以vector_add算子为例，展示了如何测试triton实现与PyTorch原生的性能差异。此外还介绍了perf_report装饰器与Benchmark类的使用方法，支持自动生成不同参数组合下的性能对比图表，适用于NPU环境下的算子优化评估。测试结果表明]]></description><category></category></item></channel></rss>