C++ AMP同CUDA之间的性能比较

最新推荐文章于 2025-06-24 13:42:32 发布
最新推荐文章于 2025-06-24 13:42:32 发布
阅读量5.7k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 性能或算法 C++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/lee353086/article/details/50629922
本文通过在Core i7-4790k + GTX960及Corei5-2500K + Quadro K600上进行500阶矩阵相乘的测试，对比了CPU、C++ AMP和CUDA的性能。结果显示，CUDA在未优化的情况下仍显著优于C++ AMP和CPU，且开启GPU Boost可能导致计算结果错误。提供了C++、C++ AMP及CUDA的源代码示例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Date:2016-02-03
Author:kagula
Environment:
[1]Win10
[2]VS2013 Update5
[3]Cuda 7.5
从Uvidia官网下载的cuda_7.5.18_windows.exe，cudatoolkit_3.1_win_64.exe

[4]Core i7-4790k + GTX960


测试方式

两个500阶矩阵相乘。


Corei7-4790K+GTX960 测试结果（GPU Boost模式打开情况下）

CPU:          217.866ms
C++ AMP:     35.1236ms
CUDA:              1.969ms

Corei5-2500K+Quadro K600测试结果

CPU:             252.744ms
C++ AMP:     73.1175ms
CUDA:           19.706ms


       CUDA由于对threads做了分块优化，我这里写的cpu和amp代码没有优化，所以性能差距很大。


程序提示计算结果有错误，需要关闭boost改进GPU计算的正确性。

这里没有进一步测试。


测试用到的代码段

C++源代码


                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
PyTorch 源码解读之 torch.cuda.amp: 自动混合精度详解

				
			

			

				

					weixin_43915090的博客
				

				

					03-11
					
					2684
					
				

			

		

		

			
				
调用时再 autocast。

			
		

	



                

            
              



	

		

			

				
					
C++ 中用 cuda 处理 Opencv的Mat数据

				
			

			

				

					a97155787的博客
				

				

					01-18
					
					2931
					
				

			

		

		

			
				
cuda kernel函数：
//16bit 对应 ushort
//一般是8bit 对应char
__global__ void fun(cuda::PtrStepSz<ushort> matInCuda){
	int tx = threadIdx.x + blockDim.x * blockIdx.x;
	int ty = threadIdx.y + blockDim.y * blockIdx.y;
	if (tx < imgW &amp;&amp; ty < imgH)
	{


			
		

	



              


  
              

                


	

		

			

				
					
CUDA与C++

				
			

			

				

					shenlan282的笔记
				

				

					11-30
					
					2258
					
				

			

		

		

			
				
1.使用thrust:
http://stackoverflow.com/questions/13185221/cuda-host-object-to-device
http://blog.youkuaiyun.com/shenlan282/article/details/8237576

http://blog.youkuaiyun.com/shenlan282/article/details/8237586

			
		

	





	

		

			

				
					
**GPU编程：探索发散创新的无限可能**随着科技的飞速发展，GPU（图形处理器）编程已经成为现代计算机领域中的一项关键技

					
最新发布

				
			

			

				

					2401_89451588的博客
				

				

					06-24
					
					712
					
				

			

		

		

			
				
随着科技的飞速发展，GPU（图形处理器）编程已经成为现代计算机领域中的一项关键技术。它以其强大的并行处理能力，被广泛应用于图像处理、深度学习、科学计算等领域。本文将带领大家走进GPU编程的世界，一起探索发散创新的无限可能。GPU编程是指利用图形处理器进行通用计算的一种编程方式。与传统的CPU编程相比，GPU编程具有更高的并行度和更高的数据处理能力。通过GPU编程，我们可以实现更高效的数据处理、图像渲染和机器学习等任务。三、GPU编程进阶与优化技巧。

			
		

	



		

			
		



	

		

			

				
					
GPU编程语言选择(OpenCL、CUDA与C++ AMP)

				
			

			

				

					paradox_1_0的博客
				

				

					11-26
					
					1011
					
				

			

		

		

			
				
其实在C++ AMP之前已经有了两个异构编程框架：CUDA与OpenCL。CUDA（Compute Unified Device Architecture）是显卡厂商Nvidia于2007年退出的业界第一款异构并行编程框架。在Nvidia的大力支持下，CUDA拥有良好的开发环境，丰富的函数库，优秀的性能。但是CUDA只能被用于在Nvidia的显卡上进行异构编程，有先天的局限性。

OpenCL(O...

			
		

	





	

		

			

				
					
GPU编程语言选择（OpenCL、CUDA 与C++ AMP）

				
			

			

				

					ctrigger的专栏
				

				

					04-16
					
					3632
					
				

			

		

		

			
				
其实在C++ AMP之前已经有了两个异构编程框架：CUDA与OpenCL。CUDA（Compute Unified Device Architecture）是显卡厂商Nvidia于2007年推出的业界第一款异构并行编程框架。在Nvidia的大力支持下，CUDA拥有良好的开发环境，丰富的函数库，优秀的性能。但是CUDA只能被用于在Nvidia的显卡上进行异构编程，有先天的局限性。Ope...

			
		

	





	

		

			

				
					
C++ AMP

				
			

			

				

					11-05
				

			

		

		

			
				
12. **CUDA InterOp**: `CUDAInterOp.zip`可能展示了如何在C++ AMP和NVIDIA的CUDA平台之间进行互操作，允许在两个不同的并行计算模型之间共享数据和计算资源。  13. **Binomial Options**: `BinomialOptions.zip`...

			
		

	





	

		

			

				
					
人工智能导论大作业-基于CUDA &amp; C++的CNN实现，在MNIST上+源代码+文档说明

				
			

			

				

					12-26
				

			

		

		

			
				
人工智能导论大作业-基于CUDA &amp; C++的CNN实现，在MNIST上+源代码+文档说明 - 小白不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的课程设计，代码都测试ok，都是运行成功后才上传资源，答辩评审...

			
		

	





	

		

			

				
					
WebGPU实现介绍：CUDA、OpenCL、OpenACC、C++ AMP技术深度解析

				
			

			

				

					
				

			

		

		

			
				
资源摘要信息: "webgpu:webgpu GPU代码实现，包括CUDA、OpenCL、OpenACC和C++ AMP"  webgpu项目是一个关于图形处理器（GPU）编程的代码实现，它涵盖了当前最流行的几种GPU编程语言和框架。在这个项目中，实现了包括...

			
		

	





	

		

			

				
					
OpenCL、CUDA 与C++ AMP之间，开发者该如何选择

				
			

			

				

					小鹏AI
				

				

					04-23
					
					1030
					
				

			

		

		

			
				
如果你只需要在Nvidia的GPU卡上进行异构编程，并且非常看重性能的话，CUDA应该是第一选择：在Nvidia的强力支持下，CUDA在Nvidia硬件上的性能一直保持领先，许多学术研究表明OpenCL与CUDA的性能相差不大，在一部分应用中CUDA的性能稍微好于OpenCL。作为第一个异构计算的开放标准，OpenCL已经得到了包括Intel，AMD，Nvidia，IBM，Oracle，ARM，Apple，Redhat等众多软硬件厂商的大力支持。其实从编程语言的发展来看，易编程性往往比性能更加重要。

			
		

	





	

		

			

				
					
C++AMP介绍（一）

				
			

			

				

					lee353086的专栏
				

				

					10-09
					
					1万+
					
				

			

		

		

			
				
C++AMP介绍（一）
最后更新日期：2014-05-02
阅读前提：
环境:Windows 8.1 64bit英文版，Visual Studio 2013 Professional Update1英文版，Nvidia QuadroK600 显卡
内容简介
         介绍C++ AMP如何使用加速器(GPU)的并发执行能力。通过两个尽可能简洁的程序，让用户了解到如何把AMP应用到

			
		

	





	

		

			

				
					
conda如何升级pytorch_PyTorch的自动混合精度（AMP）

				
			

			

				

					weixin_39621178的博客
				

				

					11-20
					
					845
					
				

			

		

		

			
				
背景PyTorch 1.6版本今天发布了，带来的最大更新就是自动混合精度。release说明的标题是：Stable release of automatic mixed precision (AMP). New Beta features include a TensorPipe backend for RPC, memory profiler,and several improvements t...

			
		

	





	

		

			

				
					
PyTorch ： torch.cuda.amp: 自动混合精度详解

				
			

			

				

					weixin_42046845的博客
				

				

					12-13
					
					4160
					
				

			

		

		

			
				
amp功能：可以在神经网络推理过程中，针对不同的层，采用不同的数据精度进行计算，从而实现节省显存和加快速度的目的。

			
		

	





	

		

			

				
					
cuda安装&amp;amp;cudnn安装 &amp;amp;tensorrt安装

				
			

			

				

					体重51.00
				

				

					04-03
					
					2273
					
				

			

		

		

			
				
uname -a 查看系统版本一、 首先应该安装cuda，我一直出现错误，是因为服务器上cuda没有安装好https://developer.nvidia.com/cuda-downloads我要安装的是cuda 8.0，所以得找历史版本，legacy release。https://developer.nvidia.com/cuda-toolkit-archive 选择的是8.0 GA因为选择的...

			
		

	





	

		

			

				
					
torch.cuda.amp的使用

				
			

			

				

					weixin_41831274的博客
				

				

					04-01
					
					9607
					
				

			

		

		

			
				
今天看到师兄的代码里面用到了amp包，但是我在使用的时候遇到了apx无法使用的问题，后来知道pytorch已经集成了amp，因此学习了一下pytorch中amp的使用。

官网https://pytorch.org/docs/stable/amp.html?highlight=amp

torch.cuda.amp

作用：

torch.cuda.amp提供了可以使用混合精度的方便方法，以加速训练。在网络中，有一些操作，例如linear layer和convolution，在float16时会更加快速，而

			
		

	





	

		

			

				
					
torch.cuda.amp的功能

				
			

			

				

					SisterRu的博客
				

				

					07-31
					
					561
					
				

			

		

		

			
				
在PyTorch中，模块提供了自动混合精度（Automatic Mixed Precision, AMP）的工具，这是一种用于加速深度学习模型训练的技术，同时还可以减少模型训练过程中所需的内存。使用这个模块，可以在不牺牲模型精度的情况下提高训练速度和效率。

			
		

	





	

		

			

				
					
混合精度训练amp，torch.cuda.amp.autocast():

					
热门推荐

				
			

			

				

					Drug discovery
				

				

					07-17
					
					2万+
					
				

			

		

		

			
				
1 需要什么GPU：

在上面讲述了为什么利用混合精度加速，需要拥有 TensorCore 的GPU

0x02. 基础理论：

在日常中深度学习的系统，一般使用的是单精度 float（Single-Precision）浮点表示。在了解混合精度训练之前，我们需要先对其中的主角半精度『float16』进行一定的理论知识学习。



float vs float16 的组成bitmap

在上图可以看到，与单精度float（32bit，4个字节）相比，半进度float16仅有16bit，2个字节组成。天然的存储

			
		

	





	

		

			

				
					
C++ AMP下的NBody多体模拟仿真源码解析

				
			

			

				

					
				

			

		

		

			
				
3. **C++ AMP与CUDA的比较**：尽管CUDA是NVIDIA特有的技术，而C++ AMP有更广泛的硬件支持，但在底层，二者都依赖于GPU的并行计算能力。它们都提供了方便的接口，使得开发者能够编写代码来充分利用GPU的计算资源，...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
kagula086

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值