PyTorch 2.7 带来了对 NVIDIA Blackwell 的支持、Mega Cache、FlexAttention 更新等功能。

PyTorch 是一款多功能软件框架，专为快速实验和高效生产而设计。它具备混合前端，支持分布式训练，并与广泛的工具和库生态系统集成。凭借 4.5 的评分，它成为开发者中的热门选择。值得注意的替代品包括 tinygrad、TensorFlow 和 micrograd。

PyTorch 已发布 2.7 版本，为这一机器学习库带来了众多新功能和改进。此次更新引入了对 NVIDIA Blackwell GPU 架构的支持，并提供了适用于 Linux x86 和 arm64 架构的 CUDA 12.8 预构建轮子。一个显著的新增功能是 torch.compile 对 Torch Function Modes 的支持，允许用户覆盖任何 *torch.** 操作以实现自定义行为。该版本还首次推出了 Mega Cache 功能，提供端到端的便携式缓存能力。

FlexAttention 得到了多项增强，包括 LLM 首令牌处理、LLM 吞吐量模式优化以及对推理的支持。针对 Intel GPU 架构进行了性能优化，提高了效率和速度。其他更新包括 PyTorch Context Parallel API、对 foreach_map 的支持，以及 inductor 中的序言融合支持，同时还包括各种其他增强功能和错误修复。这些变化旨在增强 PyTorch 在计算机视觉和自然语言处理等领域开发者的功能和性能。