在Windows平台上使用AMD显卡加速PyTorch训练

最新推荐文章于 2025-09-19 06:33:18 发布
最新推荐文章于 2025-09-19 06:33:18 发布
阅读量9.4k 收藏 23
点赞数 4
CC 4.0 BY-SA版权
文章标签： PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AvGroovy/article/details/133736801
PyTorch 专栏收录该内容
83 篇文章 ¥59.90 ¥99.00
订阅专栏
本文详细介绍了如何在Windows系统中利用AMD显卡加速PyTorch的深度学习训练。内容包括安装AMD显卡驱动和ROCm平台，安装PyTorch及AMD支持库，设置环境变量，以及编写利用GPU加速的PyTorch代码示例。

PyTorch是一种流行的深度学习框架，而AMD显卡则是一种常见的图形处理器。本文将介绍如何在Windows平台上利用AMD显卡加速PyTorch训练的方法。我们将提供详细的步骤和相应的源代码示例。

步骤1：安装AMD显卡驱动程序和ROCm

首先，确保你的计算机上已经安装了最新的AMD显卡驱动程序。你可以从AMD官方网站下载并安装适用于你的显卡型号的最新驱动程序。

接下来，我们需要安装ROCm（Radeon Open Compute）。ROCm是一个开源的GPU计算平台，支持AMD显卡在深度学习任务中的加速。你可以从ROCm的官方网站下载适用于Windows的安装包，并按照说明进行安装。

步骤2：安装PyTorch和AMD显卡支持库

在使用AMD显卡加速PyTorch之前，我们需要安装PyTorch和相关的AMD显卡支持库。

首先，我们安装PyTorch。你可以使用pip命令在命令行中安装PyTorch：

pip install torch torchvision

接下来，我们需要安装AMD显卡支持库。在命令行中执行以下命令：

pip install torch-rocm

步骤3：设置环境变量

为了正确地使用AMD显卡加速PyTorch，我们需要设置一些环境变量。

首先，打开控制面板，并进入“系统和安全” -> “系统” -> “高级系统设置”。在弹出的对话框中，点击“环境变量”按钮。

接下来，在“系统变量”中点击“新建”按钮，然后输入以下两个变量：


                

                
                
        

    


  


        

                

                  

                  

                  了解本专栏
                  
                  
                    
                  订阅专栏 解锁全文
                   
                

        


    



                



	

		

			

				
					
加速 PyTorch 模型：使用 ROCm 在 AMD GPU 上应用 torch.compile

				
			

			

				

					数字人生
				

				

					08-31
					
					3347
					
				

			

		

		

			
				
PyTorch 2.0 引入了一个名为**的工具，可以极大地加速 PyTorch 代码和模型。通过将 PyTorch 代码转换为高度优化的内核，`torch.compile` 在现有代码库上进行最小化修改即可提供显著的性能提升。此功能允许精确优化单个函数、整个模块以及复杂的训练循环，提供了一个多功能且强大的工具来提高计算效率。在这篇博客中，我们将演示如何在 AMD GPU 上使用 ROCm 和加速各种实际模型。

			
		

	



                

            
              



	

		

			

				
					
CPU版本的Pytorch安装教程（AMD显卡），附详细图解

					
热门推荐

				
			

			

				

					weixin_44110563的博客
				

				

					03-07
					
					5万+
					
				

			

		

		

			
				
Windows11+AMD显卡+pycharm3.9.7+CPU版本的Pytorch

			
		

	



              


  
              

                


	

		

			

				
					
Windows 平台下AMD 显卡加速pytorch训练

				
			

			

				

					znsoft的专栏
				

				

					10-15
					
					1万+
					
				

			

		

		

			
				
Windows平台下directml对pytorch基本上没有支持能力。amd 的rocm对windows也没有支持，那怎么实现在windows下用directml训练模型呢？



答案是： pytorch + onnxruntime



ONNX运行时（ORT）能够通过优化的后端训练现有的PyTorch模型。为此，我们为pythorch引入了一个pythorch API，称为ORTTrainer，可用于将pythorch模型的训练后端（实例torch.nn.Module）切换到orttrainer..

			
		

	





	

		

			

				
					
AMD显卡配置pytorch

				
			

			

				

					wasabidragon的博客
				

				

					10-16
					
					2055
					
				

			

		

		

			
				
我下的是anaconda3，地址改到D盘，然后勾选一下default环境变量加了3行prompt里能出现base就说明ok了再验证一下cmd里conda -V设置Anaconda镜像。

			
		

	



		

			
		



	

		

			

				
					
PyTorch ROCm支持：AMD GPU加速计算完全指南

					
最新发布

				
			

			

				

					gitblog_00103的博客
				

				

					09-19
					
					1473
					
				

			

		

		

			
				
你是否曾因NVIDIA显卡高昂的价格而却步深度学习研究？是否在寻找CUDA的高性能替代方案？本文将系统介绍PyTorch对ROCm（Radeon Open Compute Platform，Radeon开放计算平台）的支持，展示如何利用AMD GPU实现高效深度学习训练与推理。通过本文，你将获得：

- ROCm生态系统与PyTorch集成原理
- 从硬件选择到环境部署的完整流程
- 关键性能指标...

			
		

	





	

		

			

				
					
在window的pycharm里的pytorch框架上使用AMDgpu加速深度学习训练

				
			

			

				

					weixin_62935806的博客
				

				

					08-18
					
					8920
					
				

			

		

		

			
				
amd的gpu也可以用来深度学习训练

			
		

	





	

		

			

				
					
安装Pytorch（基于AMD显卡）

				
			

			

				

					bobozai86的博客
				

				

					06-09
					
					1万+
					
				

			

		

		

			
				
Python的库大部分都在Anaconda的Anaconda prompt中进行安装各种包（注意：Anaconda的位数要和Python保持一致）

			
		

	





	

		

			

				
					
Windows系统安装PyTorch框架支持AMD Radeon显卡/Intel显卡

				
			

			

				

					CUFEECR的博客
				

				

					03-25
					
					1万+
					
				

			

		

		

			
				
PyTorch对NVIDIA显卡的支持最好，但是通过额外配置，也可以支持其他常见显卡，例如通过安装DirectML即可实现使用AMD和Intel显卡，但是性能上可能存在一定的区别，需要根据需要和表现进行灵活选择。

			
		

	





	

		

			

				
					
pytorch for ROCM 安装包，amd显卡  

				
			

			

				

					10-18
				

			

		

		

			
				
pytorch for ROCM 安装包whl , 支持ubuntu 18.04及以上系统， amd  Radeon Vii 显卡。
里面带配置手册（rocm分版本安装方法)


			
		

	





	

		

			

				
					
Ｗindows 下 AMD显卡训练模型有救了：pytorch_directml 下运行Transformers

				
			

			

				

					znsoft的专栏
				

				

					02-21
					
					4644
					
				

			

		

		

			
				
注意，如果直接使用pipeline可能会有问题，应该是pipeline不兼容导致的。只需要自己编写具体代码，避开pipeline即可。amd GPU占用率能上去。

			
		

	





	

		

			

				
					
TensorFlow/PyTorch 使用核显训练（仅限win平台）

				
			

			

				

					sir_chen的博客
				

				

					03-08
					
					3656
					
				

			

		

		

			
				
windows上用核显进行TensorFlow/Pytorch进行训练，并对比了原生cuDNN与directML的速度差异

			
		

	





	

		

			

				
					
Windows下AMD显卡配置pyTorch记录

				
			

			

				

					weixin_49642005的博客
				

				

					11-10
					
					1328
					
				

			

		

		

			
				
2、 安装 PyTorch 和 Torch-DirectML。环境：必须使用python3.10.11。配置 Python 环境。1、conda环境配置。

			
		

	





	

		

			

				
					
使用集成显卡/集显(AMD)或者GPU安装运行pytorch？步骤解析~

				
			

			

				

					zhang___jian61的博客
				

				

					11-02
					
					1万+
					
				

			

		

		

			
				
复制命令，来到终端，我这里使用的是pycharm终端。（其实把pycharm中settings---tools--- shell path-更改成cmd.exe,便和cmd打开的终端没有区别了，读者自行选择）但是如果继续输入torch.cuda.is_available()，检查当前系统是否支持CUDA函数，如果返回false，则可能是配置不当，或者显卡配置不够（笔者就是这种情况，有钱了升级配置~~~）Windows+r,打开命令行窗口，输入taskmgr,打开任务管理器，可以查看显卡配置。

			
		

	





	

		

			

				
					
Windows系统AMD显卡训练Yolov5模型方法

				
			

			

				

					holy_shit_sb的博客
				

				

					08-27
					
					7246
					
				

			

		

		

			
				
当我发现AMD显卡没法给yolov5模型加速的时候，我训练一个模型要15天的时候，我原地爆炸，还好我不是一个轻易放弃的人，费尽心力的找到一个稍微优秀点的法子。可能会花点小钱10块到20块左右，但是速度要比用CPU炼丹好的多。不多说直接开整。

			
		

	





	

		

			

				
					
pytorch安装到一半中断_AMD平台上配置PyTorch+Apex开发环境

				
			

			

				

					weixin_39984578的博客
				

				

					11-22
					
					390
					
				

			

		

		

			
				
手上有2台AMD平台的机器，用的N卡做深度学习开发机。其中一个是Ryzen 3500X ITX+2070，另一个是FX8350 990FX 3卡平台+1080和P106。这两个机器其实都挺好用的，即便推土机浮点能力比较弱，真8核在多线程IO方面还是相当有力的，而且还可以组PCIE 2.0双X16或者X16+X8+X8（相当于PCIE 3.0的一半）。搭配AMD专用条，用来做超低成本主副卡配置非常合...

			
		

	





	

		

			

				
					
Windows AMD 安装 PyTorch

				
			

			

				

					Larry Chow
				

				

					10-11
					
					5845
					
				

			

		

		

			
				
Q & A

前提

安装

验证

Q & A


Q：笔记本不是英伟达（NVIDIA）显卡，能安装PyTorch吗？

A： 可以！选择CPU为运算平台的PyTorch安装版本。（Compute Platform：CPU）

Q：选择以CPU为运算平台的PyTorch版本与GPU版本的在程序运行方面差别大吗？

A： 影响并不大！
   从定位上看，pytorch和tensorflow不仅仅用于动辄几十层的vgg、res、dense各种net。    还可以用...

			
		

	





	

		

			

				
					
AMD 显卡在windows下完美兼容transformer/pytorch

				
			

			

				

					znsoft的专栏
				

				

					05-03
					
					6152
					
				

			

		

		

			
				
2.   pip install torch-directml==0.2.0.dev230426     # 这个版本会变化 ，目前不支持安装的是1.13支持的版本，不能兼容transformer.经过微软的努力 ，支持pytorch 2.0的directml-torch 已经可以试用，经过测试，已经可以完美支持transformer库。你的amd显卡可以在windows下用来炼丹了。建议windows 10或11环境。1. 安装anaconda。

			
		

	





	

		

			

				
					
使用AMD显卡在windows平台上微调qwen2.5-VL

				
			

			

				

					05-29
				

			

		

		

			
				
<think>嗯，用户现在想知道如何在Windows平台上使用AMD显卡对Qwen2.5-VL模型进行微调。之前他们的问题是关于在Linux下用AMD显卡微调的一般步骤，现在转到了Windows系统，并且具体到Qwen2.5-VL这个多模态模型。我需要结合之前的回答和新的引用内容来调整。

首先，之前的回答提到在Ubuntu系统下安装ROCm驱动和PyTorch，但Windows不支持ROCm。所以用户现在的问题存在挑战，因为AMD在Windows上的支持有限。引用[2]中提到使用A6000或4090显卡，但用户坚持用AMD，可能需要寻找替代方案，比如DirectML或ONNX Runtime。然后，用户引用的Qwen2.5-VL是多模态模型，可能需要特定的库或框架支持。在Windows上，可能需要通过WSL来间接使用ROCm，但步骤可能复杂。或者，使用PyTorch的DirectML后端，但需要确认是否支持训练而不仅仅是推理。另外，用户之前的回答里提到了Huggingface的Trainer类和混合精度训练，但在Windows上可能需要调整这些设置。比如，是否能在Windows下启用FP16，或者需要其他优化手段。

还要考虑显存管理，用户引用[2]中建议大显存显卡，但AMD显卡如RX6700 XT只有12GB显存，可能需要使用QLoRA等技术来减少显存占用。需要指导用户如何在代码中应用这些技术，比如调整batchsize和使用梯度检查点。同时，用户可能遇到环境配置问题，比如PyTorch与AMD显卡的兼容性，需要推荐正确的版本和安装源。例如，PyTorch的DirectML版本或者通过ONNX Runtime进行加速。

最后，需要验证步骤是否可行，比如运行测试脚本检查GPU是否可用，以及如何处理常见的错误，比如驱动问题或库缺失。还要提醒用户注意Windows和Linux在路径和依赖管理上的差异，避免兼容性问题。</think>### 如何在 Windows 系统使用 AMD 显卡加速 Qwen2.5-VL 模型微调

#### 一、环境配置挑战与解决方案
1. **核心限制**：
   - ROCm **不支持 Windows 原生系统**（仅支持 Linux 和 WSL2）[^4]
   - AMD 显卡在 Windows 的深度学习支持需通过 **DirectML** 或 **ONNX Runtime** 实现

2. **替代方案选择**：
   ```bash
   # 安装 PyTorch-DirectML (Windows 专用)
   pip install torch-directml
   ```

#### 二、Qwen2.5-VL 微调环境搭建
1. **依赖安装**：
```python
# 多模态依赖库
pip install qwen-vl transformers datasets accelerate
pip install onnxruntime-directml  # AMD GPU加速
```

2. **显存优化配置**（针对 RX 6700 XT 12GB 显存）：
   - 使用 **QLoRA** 技术：
     ```python
     from peft import LoraConfig
     peft_config = LoraConfig(
         r=8,
         lora_alpha=32,
         target_modules=["query_key_value"],
         lora_dropout=0.1,
         bias="none",
         task_type="CAUSAL_LM"
     )
     ```

#### 三、微调代码适配
```python
import torch_directml
device = torch_directml.device()  # 获取AMD GPU设备

# 模型加载适配
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-VL-Chat",
    device_map={"": device},
    torch_dtype=torch.bfloat16  # AMD推荐精度
)

# 训练参数设置
training_args = TrainingArguments(
    per_device_train_batch_size=2,  # 显存限制需调小
    gradient_accumulation_steps=4,
    fp16=False,  # DirectML暂不支持混合精度
    optim="adamw_torch",
    output_dir="./qwen2.5-vl-finetune"
)
```

#### 四、性能优化技巧
1. **数据流水线加速**：
   ```python
   dataset = dataset.with_format(
       "torch",
       device=device,
       columns=["pixel_values", "input_ids"]
   )
   ```

2. **显存管理公式**（理论估算）：
   $$ \text{显存需求} \approx (\text{模型参数} \times 2) + (\text{batch\_size} \times \text{序列长度} \times 4) $$
   - Qwen2.5-VL 7B 模型参数约需 **14GB** 显存
   - 通过 `gradient_checkpointing=True` 可减少 30% 显存占用[^2]

#### 五、验证与调试
1. **设备检测脚本**：
```python
import torch_directml
print(f"可用设备: {torch_directml.device_count()}")  # 应≥1
print(f"设备名称: {torch_directml.device_name(0)}")
```

2. **常见问题处理**：
| 问题现象               | 解决方案                          |
|------------------------|-----------------------------------|
| `DirectML初始化失败`    | 更新AMD驱动至24.5.1或更高版本     |
| `CUDA out of memory`    | 降低`per_device_train_batch_size` |
| 多模态数据加载异常      | 检查图像尺寸是否统一为$224\times224$[^1] |

---

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
             | 博主筛选后可见
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值