MnivL的博客

本文聚焦人工智能领域顶级会议 AAAI 2025，该会议于 2 月 25 日 - 3 月 4 日在美国费城举行，录用率 23.4%。会议公布的杰出论文奖成果显著。南京大学周志华团队等三篇论文获奖，还有一篇获 “AI 对社会影响特别奖”。获奖论文涵盖多智能体优化、神经符号推理等前沿方向，如周志华团队提出溯因反思框架解决神经符号推理冲突，多伦多大学优化算法降低多智能体匹配失真度等。这些研究不仅实现理论突破，还在医疗、资源分配等多领域有重要应用，为智能技术 “向善” 发展注入新动力，再次印证 AI 在学术与产业的

本文深入剖析了 DeepSeek 发布的 V3/R1 推理系统，该系统以 545% 的成本利润率和单节点 8,575 tokens/s 的吞吐量刷新大模型推理性能认知。其核心技术突破包括专家并行革命，通过多 GPU 分布专家提升吞吐量、优化内存与降低延迟；通信 - 计算重叠优化，利用双批次流水线减少通信延迟与 GPU 空闲时间；三级负载均衡体系，实现各阶段负载均衡。系统架构涵盖路由层、缓存系统等核心组件。

eepSeek 开源周第三日发布 DeepGEMM，这是专为 NVIDIA Hopper 架构优化的 FP8 矩阵乘法库。其核心代码仅约 300 行，却在性能上超越 CUTLASS 3.6。文中解析了 FP8 精度和 GEMM 的重要性，通过实测展示其在标准矩阵计算和 MoE 模型中的优化表现。介绍了架构创新，包括张量内存加速器和即时编译技术，以及针对 MoE 模型的专项优化。还提供了快速部署指南，并对技术进行展望，解释了相关专业术语。

本文介绍了 DeepSeek 开源的高性能通信库 DeepEP。它专为混合专家模型（MoE）和专家并行（EP）场景设计，旨在解决大模型训练中 GPU 间数据通信的瓶颈问题。文中阐述了其核心功能与设计理念，包括域间带宽优化、低精度计算支持、通信 - 计算重叠等技术亮点。通过性能实测展示了在不同场景下的出色表现，如高吞吐、低延迟等。还介绍了架构设计、快速入门指南、高级调优建议、应用场景与案例等，并提及了开源生态和注意事项。DeepEP 的推出标志着 MoE 训练进入新阶段，有望推动千亿级模型突破训练效率边界。

DeepSeek 于 2025 年 2 月 24 日 9 点（北京时间）开源「FlashMLA」，引发社区热烈反响。该项目专为 Hopper 架构 GPU 优化，上线 45 分钟获 400+ Star，3 小时突破 2.7k 星标。文中详细解析了其核心技术，包括硬件级优化、动态序列处理、开箱即用等亮点，对比了传统 MHA 和创新 MLA 的效率差异，阐述了 MLA 通过低秩变换实现知识共享，减少冗余计算，提升硬件效率的原理，并列举了分块 KV 缓存等三大黑科技。还以 32k 上下文的 175B 模型为例说明

ms-swift3.1.0 于 PyPI 发布，有新特性如数据采样等，新模型 Qwen 等系列，还有新数据集，快来了解。

本文主要介绍了魔搭社区的两大重要框架 ——SWIFT 和 EvalScope。SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是大模型与多模态大模型微调部署框架，ms-swift 3.0 已发布，支持 450 + 大模型及 150 + 多模态大模型的训练等环节，汇集多种训练技术，支持加速与量化，还提供 Web - UI 界面。EvalScope 是模型评测与性能基准测试框架，支持多种模型类型和评测场景，内置常用测试基准和指标，且与 ms -

这篇博文主要围绕 SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）展开。它欢迎各类贡献，如 Feature PR、Bug 反馈等。博文中介绍了丰富的数据集，包括多种 VCR、MMBench 等相关数据集，还给出了数据集具体介绍的查看链接。同时，提供了中英文文档、论文链接等资源，方便用户了解。另外，还有关于许可的说明，框架使用 Apache License (Version 2.0) 进行许可，模型和数据集需查看原资源页面遵守对应 Licen