flash_attn_3 是 FlashAttention-3(简称 FA3)的 Python 库实现,专为优化 Transformer 模型中的注意力机制而设计,尤其针对 NVIDIA Hopper 架构(如 H100 GPU)进行了深度硬件适配与性能优化。
核心特性
- 专为 Hopper GPU 优化:利用 FP8 精度、第四代 Tensor Core 和高带宽内存,显著提升长序列注意力计算效率 。
- 数学等价性:输出结果与标准多头注意力完全一致,仅通过分块计算和在线重计算提升效率,不引入近似误差 。
- 接口兼容 FlashAttention-2:调用方式(如
flash_attn_func)相同,但包名和 PyTorch 算子注册名不同,便于并行安装与切换 。 - 显存与速度优势:相比 FA2,在长序列(如 16K+ token)场景下进一步降低显存占用并提升吞吐量,实测加速达 1.5–2 倍以上 。
下面是我整理的flash_attn_3 window wheel下载地址:
📁 Flash_attn_3 资源索引
| 序号 | flash_attn_3 | PyTorch | CUDA | Python | 文件名 | 网盘链接 |
|---|---|---|---|---|---|---|
| 1 | 3.0.0 | 2.8 | 12.8 | 3.9 | flash_attn_3-3.0.0+20260318.cu128torch280cxx11abitrue.8afc61-cp39-abi3-win_amd64.whl | https://pan.quark.cn/s/d5939ae98256 |
| 2 | 3.0.0 | 2.10 | 12.8 | 3.9 | flash_attn_3-3.0.0+20260318.cu128torch2100cxx11abitrue.8afc61-cp39-abi3-win_amd64.whl | https://pan.quark.cn/s/b85e24bed0d1 |
| 3 | 3.0.0 | 2.10 | 13.0 | 3.9 | flash_attn_3-3.0.0+20260318.cu130torch2100cxx11abitrue.8afc61-cp39-abi3-win_amd64.whl | https://pan.quark.cn/s/6bb072587b4a |
| 4 | 3.0.0 | 2.9 | 12.8 | 3.9 | flash_attn_3-3.0.0+cu128torch2.9gite2743ab-cp39-abi3-win_amd64.whl | https://pan.quark.cn/s/def576273af1 |
| 5 | 3.0.0 | 2.9 | 13.0 | 3.9 | flash_attn_3-3.0.0+cu130torch2.9gite2743ab-cp39-abi3-win_amd64.whl | https://pan.quark.cn/s/274d7c80396c |
| 6 | 3.0.0 | 2.10 | 13.0 | 3.9 | flash_attn_3-3.0.0+cu130torch2.10gite2743ab-cp39-abi3-win_amd64.whl | https://pan.quark.cn/s/45c3cc385cca |
499



被折叠的 条评论
为什么被折叠?



