DeepSeek 开源周首日：开源 FlashMLA，AI 推理速度再进化！

DeepSeek 开源周 Day1 全新发布了 FlashMLA —— 一款专为英伟达 Hopper 架构 GPU 优化打造的极致高效的 MLA（Multi-Layer Attention）解码引擎，现已正式开源，等你来探索！👏

FlashMLA 简介 🤔

FlashMLA 是专为加速英伟达 Hopper 系列 GPU 而量身定制的解码加速器，旨在应对**变长序列（variable-length sequences）**的高难度场景。它在大模型推理服务中展现出了卓越的性能提升，让响应速度更快、效率更高，助力各类 AI 应用实现质的飞跃！🚀

官方表示，FlashMLA 已在生产环境中广泛应用，稳定性和可靠性均得到充分验证。

核心优势 ✨

• ✅ BF16 精度支持： 采用前沿的 BF16 精度，实现性能与效率的完美平衡！
• ✅ 分页式 KV 缓存： 利用块大小为 64 的分页 KV 缓存技术，带来更精细的内存管理和更高的运行效率！
• ⚡️ 卓越性能表现： 在 H800 SXM5 GPU 上，内存受限场景下可达到惊人的 3000 GB/s 传输速率，计算受限情况下也能实现 580 TFLOPS 的算力，这一切均基于 CUDA 12.6 技术实现！

快速体验，立刻起飞！ 💨

DeepSeek AI 提供了简单易用的快速上手指南，让你只需几步操作即可体验 FlashMLA 带来的极速性能提升！

安装方法：

复制安装指令……

运行 Benchmark 测试：

👉 访问 GitHub 仓库： https://github.com/deepseek-ai/FlashMLA

技术解析及参考

FlashMLA 的研发过程中，DeepSeek AI 借鉴了 FlashAttention 2&3 和 cutlass 等领先项目的理念，并在此基础上进行了自主创新和优化，从而推出了这款性能卓越的解码内核。

最后提醒

温馨提示： FlashMLA 运行需要满足以下条件：Hopper 架构 GPU、CUDA 12.3 及以上、以及 PyTorch 2.0 及以上。使用前请务必确认您的系统配置符合要求，确保最佳体验！