Pytorch2.0中compiled_model=torch.compile(model) 的正确添加位置

原创

已于 2023-03-18 12:34:41 修改 · 3.8k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch #人工智能 #计算机视觉 #python

于 2023-03-18 12:30:30 首次发布

PyTorch官网推出了2.0稳定版，新特性torch.compile允许用户只需添加model=torch.compile(model)即可实现模型训练加速。无论是CPU训练、单卡训练还是多卡训练(DistributedDataParallel)，只需关注这行代码的位置，无需大量修改原有代码，即可享受性能提升。

今天pytorch官网更新了pytorch2.0稳定版，迫不及待的我直接更新了，确实像官方所说，只需加入model=torch.compile(model)一行代码即可加速，加入的位置如下。

cpu训练：

 model=UNet(deep_supervision=True)
 model=torch.compile(model)

单卡训练：

 model=UNet(deep_supervision=True)
 model.to(Device)
 model=torch.compile(model)

多卡训练：

 model=UNet(deep_supervision=True)
 model.to(Device)
 model=nn.parallel.DistributedDataParallel(
         model,
         device_ids=[lo

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

黄渡猿

关注关注

3
点赞
踩
7

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

推理加速 --- torch.compile

在人工智能的道路上爬行

08-01

1万+

PyTorch 2.0 官宣了一个重要特性 —— torch.compile，这一特性将 PyTorch 的性能推向了新的高度，并将 PyTorch 的部分内容从 C++ 移回 Python。torch.compile 是一个完全附加的（可选的）特性，因此 PyTorch 2.0 是 100% 向后兼容的。支撑 torch.compile 的技术包括研发团队新推出的 TorchDynamo、AOTAutograd、PrimTorch 和 TorchInductor。

PyTorch实战案例（二）——利用PyTorch实现线性回归算法（进阶）

Wendy的博客

11-11

3530

目录一、案例描述二、代码详解2.1 根据直线方程构造数据集2.2 构建数据迭代器三、完整代码一、案例描述上一篇文章【PyTorch实战案例（一）——利用PyTorch实现线性回归算法（基础）】，介绍了PyTorch实现线性回归的基础算法，使用预定义好的层构建了一个单层神经网络，本文将介绍利用PyTorch实现线性回归的进阶算法，通过构建LinearRegression类实现线性回归。案例为：利用PyTorch设计神经网络拟合直线y=Wx+b，其中W=[2,-3.4]T ， b=4.2。该案例有两个特

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

Joyceypter 2023.04.22
居然是先放进device再编译？

[图模式系列] PyTorch Compile组件解析

最新发布

xN的博客

11-05

1037

PyTorch 2.x引入的torch.compile是一项核心优化技术，通过三阶段处理流程实现模型加速：1）TorchDynamo安全捕获计算图；2）AOT Autograd提前捕获反向传播；3）TorchInductor生成高效机器码。

PyTorch 2.0编译模式实战：30%训练加速的4个关键配置

m0_63176915的博客

08-06

1299

PyTorch2.0编译模式实战：4个关键配置实现30%训练加速摘要：PyTorch2.0的torch.compile通过将动态计算图转换为静态图，结合操作融合和硬件加速，显著提升模型训练效率。本文提出四个优化配置：1)选择Inductor后端优化CUDA内核；2)启用fullgraph模式最大化操作融合；3)结合混合精度训练降低计算量；4)通过梯度检查点优化内存。在Vision Transformer等模型上的测试显示，综合应用这些配置可实现约30%的训练加速，同时减少25%显存占用。文章详细解析了各配

torch.compile用法

zhuikefeng的博客

02-21

5110

torch.compile 通过 JIT 将 PyTorch 代码编译成优化的内核，使 PyTorch 代码运行得更快。加速主要来自减少了 Python 开销和 GPU 读/写，因此观察到的加速可能因模型架构和批量大小等因素而异。例如，如果一个模型的架构很简单并且数据量很大，那么瓶颈将是 GPU 计算并且观察到的加速可能不那么显着。要求torch>2.0，还需要安装torchtriton。

Triton - Introduction

weixin_42654107的博客

07-26

788

Triton是一种为并行编程设计的语言和编译器，旨在提供一个Python-based变成环境，提升DNN compute kernels的开发效率的同时，也能最大化利用现代GPU硬件的计算吞吐能力。原生的Triton编译器的编译管线与GPU深度绑定，微软在原生Triton的基础上，在社区贡献了triton-shared项目，对接到了MLIR的linalg Dialect，方便支持其他类型的AI加速器。

import torch import torch.nn as nn import torch.optim as optim import time # 定义一个简单的模型 class SimpleModel(nn.Module): def __init__(self): super(SimpleModel, self).__init__() self.fc = nn.Linear(10, 1) def forward(self, x): return self.fc(x) # 模拟一些数据 inputs = torch.randn(32, 10) labels = torch.randn(32, 1) # eager 模式训练 model_eager = SimpleModel() criterion = nn.MSELoss() optimizer_eager = optim.SGD(model_eager.parameters(), lr=0.01) start_time_eager = time.time() for epoch in range(100): outputs = model_eager(inputs) loss = criterion(outputs, labels) optimizer_eager.zero_grad() loss.backward() optimizer_eager.step() end_time_eager = time.time() time_eager = end_time_eager - start_time_eager # torch.compile 模式训练 model_compiled = SimpleModel() compiled_model = torch.compile(model_compiled) optimizer_compiled = optim.SGD(model_compiled.parameters(), lr=0.01) start_time_compiled = time.time() for epoch in range(100): outputs = compiled_model(inputs) loss = criterion(outputs, labels) optimizer_compiled.zero_grad() loss.backward() optimizer_compiled.step() end_time_compiled = time.time() time_compiled = end_time_compiled - start_time_compiled # 计算速度提升比例 speedup_ratio = time_eager / time_compiled print(f"Eager 模式训练时间: {time_eager} 秒") print(f"torch.compile 模式训练时间: {time_compiled} 秒") print(f"速度提升比例: {speedup_ratio} 倍") 就这个示例代码，为什么compile模式比eager模式慢了100多倍？

09-03

compiled_model = torch.compile(model_compiled) optimizer_compiled = optim.SGD(model_compiled.parameters(), lr=0.01) start_time_compiled = time.time() for epoch in range(1000): outputs = compiled_...

根据下列代码，模拟我们bert compile，跑的是pytorch框架的，我与自己的bert的模型，只需要加载就可以了，模仿下面的流程即可 import torch import time import torch_tensorrt from ultralytics import YOLO # 加载 YOLOv10 模型 model = YOLO("best.pt").cuda() # 导出模型为torchscipt格式 model.export(format="torchscript", device='cuda') model_path = ("./best.torchscript") model_ts = torch.jit.load(model_path) image_tensor = torch.zeros((1, 3, 640, 640), device='cuda') model_ts.cuda() # run torch for i in range(3): out = model_ts(image_tensor) start_time = time.time() out = model_ts(image_tensor) end = time.time() - start_time print("out", out) print("out", end) # run holmes model_trt = torch_tensorrt.compile(model_ts, inputs=[image_tensor], truncate_long_and_double=True, enabled_precisions=torch.float32) #可以把编译好的模型save下来，然后直接load, 不用每次编译 #torch.jit.save(model_trt, "trt_model.ts") #model_trt = torch.jit.load("trt_model.ts").cuda() for i in range(3): holmes_out = model_trt(image_tensor) start_time = time.time() holmes_out = model_trt(image_tensor) torch.cuda.synchronize() end = time.time() - start_time print("holmes_out", holmes_out) print("holmes_out", end)

06-15

compiled_model = torch_tensorrt.compile( traced_model, inputs=[torch_tensorrt.Input(shape=example_input["input_ids"].shape)], enabled_precisions={torch.float32}, workspace_size=1 设置工作区大小 ) ...

from torchair.configs.compiler_config import CompilerConfig config = CompilerConfig() config.experimental_config.frozen_parameter = True npu_backend = tng.get_npu_backend(compiler_config=config) model.model.encoder = torch.compile(model.model.encoder, dynamic=True, fullgraph=True, backend=npu_backend)

08-05

在使用 PyTorch 框架时，若希望利用 NPU 后端对模型的 encoder 部分进行编译优化，可以通过 `torch.compile` 配合 TorchAir 提供的 `CompilerConfig` 实现。TorchAir 是 PyTorch 的扩展库，用于支持多种后端（如 NPU...

torch.compile

weixin_42654107的博客

08-15

465

一个Deep Learning Compiler，为多种加速器生成高性能代码。对NVIDIA和AMD GPUs, 使用OpenAI Triton编译器作为Backend。规范化2000+ PyTorch Operators为250+ Primitive Operators, 极大降低了开发Pytorch后端的难度。基于Python Frame Evaluation Hook技术，实现安全的Pytorch的计算图捕获。AOT生成计算图的反向图。

pytorch 源码阅读(1)——torch.complie

哦豁灬

06-25

7372

如上所述，为了更快地运行工作流，torch.compile 通过 TorchDynamo 需要一个后端，该后端将捕获的图形转换为快速的机器代码。对于在编译区域内执行的每一帧，都会尝试编译，并将编译结果缓存到代码对象中，供将来使用。中引入的 PyTorch 函数，旨在解决 PyTorch 中的准确图形捕获问题，并最终使软件工程师能够更快地运行其 PyTorch 程序。这个函数的作用是使用 TorchDynamo 和指定的后端优化给定的模型/函数，进行包装和参数配置的设置，最终会调用。，这个是用来进行调试的。

torch.compile模型编译加速

weixin_40777649的博客

07-15

1918

定义接口介绍案例。

Pytorch实用教程（一）：torch.compile计算提速

所有专家都曾始于新手

04-22

1502

开源仓库：TingsongYu/PyTorch-Tutorial-2nd: 《Pytorch实用教程》（第二版）无论是零基础入门，还是CV、NLP、LLM项目应用，或是进阶工程化部署落地，在这里都有。相信在本书的帮助下，读者将能够轻松掌握 PyTorch 的使用，成为一名优秀的深度学习工程师。在线阅读：简介 · PyTorch实用教程（第二版） (tingsongyu.github.io)

model.compile函数详解

泛红尘的博客

08-25

7478

在深度学习模型训练中，函数是一个非常重要的步骤。该函数用于编译模型，并为训练过程指定各种参数和配置。本文将详细介绍函数的使用方法，包括历史、优点和与其他方法的差异，并给出详细的步骤和示例代码。下面是optimizer：选择优化器，例如'adam''sgd'等。loss：指定损失函数，例如。metrics：选择评估指标，可以是一个或多个。：指定不同损失函数的权重。：为不同样本赋予不同权重的评估指标。：布尔值，确定是否以 eager 模式运行。等等。对于更详细的参数介绍，请查阅相关文档。本文详细介绍了。

ubuntu pytorch compile CPU

A person does not really understand something until after teaching it to a computer. Donald.E.Knuth

06-02

243

conda install dataclasses conda install numpy ninja pyyaml mkl mkl-include setuptools cmake cffi typing set http_proxy=http://127.0.0.1:19180 curl www.google.com unset http_proxy git clone --recursive https://github.com/pytorch/pytorch cd pytorch # .

【编译系列】Torch.compile()流程解析——1. torch.compile介绍

StarCap的博客

11-27

2537

43%训练加速！PyTorch 2.0编译优化实战指南

gitblog_00648的博客

08-24

324

还在为模型训练耗时过长而烦恼？PyTorch 2.0带来的编译优化技术，只需一行代码即可实现平均43%的训练速度提升。本文将带你深入了解`torch.compile()`的工作原理，通过实测数据对比不同硬件上的性能表现，并提供零成本迁移的实操指南。 ## 核心加速原理：编译优化的双重引擎 PyTorch 2.0的性能飞跃源于两大核心技术：算子融合与计算图捕获。这两项技术如同为GPU装上了"涡轮...

PyTorch 2.0 重磅发布：编译、编译、还是编译！

HyperAI超神经

12-03

5223

昨晚召开的 PyTorch Conference 2022 中，官方正式发布了 PyTorch 2.0。本文将梳理 PyTorch 2.0 与 1.x 相比的最大差异。

torch.compile() 加速推理速度

Drug discovery

05-13

1606

需安装2.0及以上版本的torch即可。