- 博客(4)
- 收藏
- 关注
RSS订阅原创 基于KTransformers在300I DUO单机部署满血版DeepSeek-R1的实践
基于KTransformers在300I DUO单机部署满血版DeepSeek-R1的实践
2025-12-26 17:59:16
631
原创 超节点FSDP2训练MoE大模型昇腾联创设计（下）
为了进一步挖掘 XTuner V1 训练方案的上限，实验室研究团队与华为昇腾技术团队在 Ascend A3 超节点上进行联合优化，充分利用超节点硬件特性，FSDP2首次在Qwen 235B MoE上实现了相比传统3D并行更高的 MFU（Model FLOPS Utilization，模型浮点运算利用率）。在理论算力落后 NVIDIA H800 近 20% 的情况下，最终实现训练吞吐超过 H800 近 5%，MFU 反超 20% 以上。
2025-12-24 14:26:48
932
原创 超节点FSDP2训练MoE大模型昇腾联创设计（上）
2025年9月8日，上海人工智能实验室开源书生大模型新一代训练引擎XTuner V1。XTuner V1 是伴随上海AI实验室“通专融合”技术路线的持续演进，以及书生大模型研发实践而成长起来的新一代训练引擎。相较于传统的 3D 并行训练引擎，XTuner V1 不仅能应对更加复杂的训练场景，还具备更快的训练速度，尤其在超大规模稀疏混合专家（MoE）模型训练中优势显著。
2025-12-24 14:26:23
1108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人