机器学习笔记 PyTorch2.0中的新功能概览

坐望云起

已于 2023-04-19 14:49:19 修改

阅读量353

点赞数

CC 4.0 BY-SA版权

分类专栏：深度学习从入门到精通文章标签：机器学习 python pytorch c++ graph

于 2023-04-19 14:48:32 首次发布

本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/129811908

深度学习从入门到精通专栏收录该内容

797 篇文章 ¥99.90 ¥299.90

订阅专栏

PyTorch2.0引入了Graph执行模式和四个核心技术，包括TorchDynamo、AOT Autograd、PrimTorch和TorchInductor，旨在提高训练速度和内存效率。torch.compile提供了default、reduce-overhead和max-autotune三种编译模式，以优化模型性能。模型执行过程中，无法编译的部分回退到eager模式，所有操作被分解为特定后端内核执行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、简述

在过去的几年中，PyTorch 已经发展成为一种流行且广泛使用的训练深度神经网络（DNN）的框架。PyTorch的成功归功于它的简单性，Python集成和命令式编程风格。自 2017 年推出 PyTorch 以来，它一直致力于高性能。它为分布式训练、数据加载和自动微分提供了一些最佳抽象。

随着 PyTorch 团队的不断创新，PyTorch 已从 1.0 版迁移到最新版本 1.13。然而，这些年来，像 GPU 这样的硬件加速器在计算和内存访问方面分别提高了若干倍。因此，为了利用这些资源并提供高性能的快速执行，团队将 PyTorch 内部的大部分转移到C++。

2022年2 月2日，PyTorch团队宣布推出下一代版本 PyTorch，它将使深度神经网络的训练速度。

二、安装

配置开发环境安装与以前的版本一样，PyTorch 2.0 作为 Python 包提供。但是，要成功安装 PyTorch 2.0，您的系统应该已安装最新的 CUDA（计算统一设备架构）版本（11.6 和 11.7）。以下是通过pip安装PyTorch 2.0每晚版本的方法：

pip3 install numpy --pre torch --force-reinstall --extra-in

了解本专栏