CUDA —— 2.6、利用cuda完成示例“计算立方和“，并对代码进行三次优化，提升效果达到117倍！！！（附：完整代码）

原创 已于 2025-07-18 18:53:19 修改 · 125 阅读 · 0 ·
CC 4.0 BY-SA版权
automoblie0
文章标签：

#CUDA #c++ #Nvidia

于 2025-07-16 18:16:36 首次发布
运行耗时比较

在这里插入图片描述

 

第一次（完成功能）

     运行结果
在这里插入图片描述
 
     完整代码

/* 利用CUDA计算1M大小数据的立方和 */

#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <cuda_runtime.h>

//1M
#define DATA_SIZE 1048576
#define THREAD_NUM 256

// 存储使用到的数据
int data[DATA_SIZE] = { 0 };

// 计算立方和
__global__ static void sumOfSquares(int *num, int* result)
{
	//表示目前的 thread 是第几个 thread（由 0 开始计算）
	const int tid = threadIdx.x;

	//计算每个线程需要完成的量
	const int size = DATA_SIZE / THREAD_NUM;
	int sum = 0;

	// 各线程计算属于自己的部分
	for (int i = tid * size; i < (tid + 1) * size; i++)
	{
		sum += num[i] * num[i] * num[i];
	}
	
	// 将各线程"立方和"存储
	result[tid] = sum;
}

int main()
{
	// 设置显卡(若无显卡则程序会失败,此为演示则不进行判断)
	cudaSetDevice(0);

	// 对需要使用的数据填充随机数
	for (int i = 0; i < DATA_SIZE; i++) { data[i] = rand() % 10; }

	// 把数据复制到显卡内存中
	int* gpudata, *result;
	cudaMalloc((void**)&gpudata, sizeof(int)* DATA_SIZE);
	cudaMalloc((void**)&result, sizeof(int)*THREAD_NUM);
	cudaMemcpy(gpudata, data, sizeof(int)* DATA_SIZE, cudaMemcpyHostToDevice);

	// 使用cuda事件来计算耗时
	cudaEvent_t start, stop;
	cudaEventCreate(&start);
	cudaEventCreate(&stop);
	cudaEventRecord(start);

	// 在CUDA 中执行函数 语法：函数名称<<<block 数目, thread 数目, shared memory 大小>>>(参数...);
	sumOfSquares << < 1, THREAD_NUM, 0 >> > (gpudata, result);

	// 同步及记录事件
	cudaEventRecord(stop);
	cudaEventSynchronize(stop);

	// 把结果从显示芯片复制回主内存
	int sum[THREAD_NUM] = { 0 };
	cudaMemcpy(&sum, result, sizeof(int)* THREAD_NUM, cudaMemcpyDeviceToHost);

	//Free
	if (gpudata) { cudaFree(gpudata); }gpudata = nullptr;
	if (result) { cudaFree(result); }result = nullptr;

	// 计算事件之间经过的时间
	float time = 0;
	cudaEventElapsedTime(&time, start, stop);
	int final_sum = 0;
	for (int i = 0; i < THREAD_NUM; i++) { final_sum += sum[i]; }
	printf("GPUsum: %d , time: %gms\n\n", final_sum, time);
	final_sum = 0;


	// cpu计算结果核对
	for (int i = 0; i < DATA_SIZE; i++) { final_sum += data[i] * data[i] * data[i]; }
	printf("CPUsum: %d \n", final_sum);
	return 0;
}

 
 

第二次（使用"内存连续"方法来优化核函数）

     运行结果
在这里插入图片描述

 
     完整代码（在第一次代码中仅修改了核函数，基本是for循环修改）

// 计算立方和
__global__ static void sumOfSquares(int *num, int* result)
{
	//表示目前的 thread 是第几个 thread（由 0 开始计算）
	const int tid = threadIdx.x;

	//计算每个线程需要完成的量
	int sum = 0;

	// 各线程计算属于自己的部分
	for (int i = tid ; i < DATA_SIZE; i+= THREAD_NUM)
	{
		sum += num[i] * num[i] * num[i];
	}
	
	// 将各线程"立方和"存储
	result[tid] = sum;
}

 
 

第三次（使用"线程块"方法来优化核函数）

     运行结果
在这里插入图片描述

 
     完整代码

/* 利用CUDA计算1M大小数据的立方和 */

#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <cuda_runtime.h>

//1M
#define DATA_SIZE	1048576
#define THREAD_NUM	256
#define BLOCK_NUM	32

// 存储使用到的数据
int data[DATA_SIZE] = { 0 };

// 计算立方和
__global__ static void sumOfSquares(int *num, int* result)
{
	//表示目前的 thread 是第几个 thread（由 0 开始计算）
	const int tid = threadIdx.x;

	//表示目前的 thread 属于第几个 block（由 0 开始计算）
	const int bid = blockIdx.x;

	//计算每个线程需要完成的量
	int sum = 0;

	// 各线程计算属于自己的部分
	for (int i = bid * THREAD_NUM + tid; i < DATA_SIZE; i += BLOCK_NUM * THREAD_NUM)
	{
		sum += num[i] * num[i] * num[i];
	}
	
	// 将各线程"立方和"存储
	result[bid * THREAD_NUM + tid] = sum;
}

int main()
{
	// 设置显卡(若无显卡则程序会失败,此为演示则不进行判断)
	cudaSetDevice(0);

	// 对需要使用的数据填充随机数
	for (int i = 0; i < DATA_SIZE; i++) { data[i] = rand() % 10; }

	// 把数据复制到显卡内存中
	int* gpudata, *result;
	cudaMalloc((void**)&gpudata, sizeof(int)* DATA_SIZE);
	cudaMalloc((void**)&result, sizeof(int)*BLOCK_NUM*THREAD_NUM);
	cudaMemcpy(gpudata, data, sizeof(int)* DATA_SIZE, cudaMemcpyHostToDevice);

	// 使用cuda事件来计算耗时
	cudaEvent_t start, stop;
	cudaEventCreate(&start);
	cudaEventCreate(&stop);
	cudaEventRecord(start);

	// 在CUDA 中执行函数 语法：函数名称<<<block 数目, thread 数目, shared memory 大小>>>(参数...);
	sumOfSquares << < BLOCK_NUM, THREAD_NUM, 0 >> > (gpudata, result);

	// 同步及记录事件
	cudaEventRecord(stop);
	cudaEventSynchronize(stop);

	// 把结果从显示芯片复制回主内存
	int sum[BLOCK_NUM*THREAD_NUM] = { 0 };
	cudaMemcpy(&sum, result, sizeof(int)* BLOCK_NUM*THREAD_NUM, cudaMemcpyDeviceToHost);

	//Free
	if (gpudata) { cudaFree(gpudata); }gpudata = nullptr;
	if (result) { cudaFree(result); }result = nullptr;

	// 计算事件之间经过的时间
	float time = 0;
	cudaEventElapsedTime(&time, start, stop);
	int final_sum = 0;
	for (int i = 0; i < BLOCK_NUM * THREAD_NUM; i++) { final_sum += sum[i]; }
	printf("GPUsum: %d , time: %gms\n\n", final_sum, time);
	final_sum = 0;


	// cpu计算结果核对
	for (int i = 0; i < DATA_SIZE; i++) { final_sum += data[i] * data[i] * data[i]; }
	printf("CPUsum: %d \n", final_sum);
	return 0;
}

 
 

第四次（使用"共享内存"方法来优化核函数）

     运行结果
在这里插入图片描述

 
     完整代码

/* 利用CUDA计算1M大小数据的立方和 */

#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <cuda_runtime.h>

//1M
#define DATA_SIZE	1048576
#define THREAD_NUM	256
#define BLOCK_NUM	32

// 存储使用到的数据
int data[DATA_SIZE] = { 0 };

// 计算立方和
__global__ static void sumOfSquares(int *num, int* result)
{
	//声明一块共享内存
	extern __shared__ int shared[];

	//表示目前的 thread 是第几个 thread（由 0 开始计算）
	const int tid = threadIdx.x;
	shared[tid] = 0;

	//表示目前的 thread 属于第几个 block（由 0 开始计算）
	const int bid = blockIdx.x;

	// 各线程计算属于自己的部分
	for (int i = bid * THREAD_NUM + tid; i < DATA_SIZE; i += BLOCK_NUM * THREAD_NUM)
	{
		shared[tid] += num[i] * num[i] * num[i];
	}

	//同步 保证每个 thread 都已经把结果写到 shared[tid] 里面
	__syncthreads();
	
	//使用线程0完成加和
	if (tid == 0)
	{
		for (int i = 1; i < THREAD_NUM; ++i)
		{
			shared[0] += shared[i];
		}
		result[bid] = shared[0];
	}
}

int main()
{
	// 设置显卡(若无显卡则程序会失败,此为演示则不进行判断)
	cudaSetDevice(0);

	// 对需要使用的数据填充随机数
	for (int i = 0; i < DATA_SIZE; i++) { data[i] = rand() % 10; }

	// 把数据复制到显卡内存中
	int* gpudata, *result;
	cudaMalloc((void**)&gpudata, sizeof(int)* DATA_SIZE);
	cudaMalloc((void**)&result, sizeof(int)*BLOCK_NUM);
	cudaMemcpy(gpudata, data, sizeof(int)* DATA_SIZE, cudaMemcpyHostToDevice);

	// 使用cuda事件来计算耗时
	cudaEvent_t start, stop;
	cudaEventCreate(&start);
	cudaEventCreate(&stop);
	cudaEventRecord(start);

	// 在CUDA 中执行函数 语法：函数名称<<<block 数目, thread 数目, shared memory 大小>>>(参数...);
	sumOfSquares << < BLOCK_NUM, THREAD_NUM, THREAD_NUM * sizeof(int) >> > (gpudata, result);

	// 同步及记录事件
	cudaEventRecord(stop);
	cudaEventSynchronize(stop);

	// 把结果从显示芯片复制回主内存
	int sum[BLOCK_NUM] = { 0 };
	cudaMemcpy(&sum, result, sizeof(int)* BLOCK_NUM, cudaMemcpyDeviceToHost);

	//Free
	if (gpudata) { cudaFree(gpudata); }gpudata = nullptr;
	if (result) { cudaFree(result); }result = nullptr;

	// 计算事件之间经过的时间
	float time = 0;
	cudaEventElapsedTime(&time, start, stop);
	int final_sum = 0;
	for (int i = 0; i < BLOCK_NUM; i++) { final_sum += sum[i]; }
	printf("GPUsum: %d , time: %gms\n\n", final_sum, time);
	final_sum = 0;


	// cpu计算结果核对
	for (int i = 0; i < DATA_SIZE; i++) { final_sum += data[i] * data[i] * data[i]; }
	printf("CPUsum: %d \n", final_sum);
	return 0;
}

 

关注

笔者 - 东旭

 

[CUDA 学习笔记] 如何优化 CUDA 矩阵乘内核以获得类似 cuBLAS 的性能: 工作日志
LostUnravel的博客
04-21 6372
写这篇文章的经历与我上一篇关于优化 CPU 上的 SGEMM的文章类似: 迭代优化 SGEMM 是深入了解硬件性能特征的最佳方法之一. 对于编写 CUDA 程序, 我感到惊讶的是, 一旦我对希望的内核工作方式进行很好地可视化后, 实现代码变得十分容易.
windows安装cuda 11.8以及tensorflow-gpu 2.6
热门推荐
yue81560的博客
11-18 1万+
window推荐的TensorFlow-gpu 2.6版的安装方法以及最简单的CUDA 11.8的安装配置
CUDA编程学习 (2)——CUDA并行性模型
qq_41399144的博客
10-25 1171
这篇文章深入探讨了CUDA编程中的并行性模型，重点介绍了基于kernel的单指令多数据(SPMD)编程。首先，通过向量加法示例，展示了CUDA内核函数的编写与调用，并解释了__global__、__device__和__host__的不同用法。接着，文章扩展到多维网格配置，演示如何处理图像数据，如RGB转灰度和图像模糊。最后，讨论了线程调度及其透明扩展性，强调了warp执行和GPU资源管理。
一文详解LibTorch环境搭建：Ubuntu20.4配置LibTorch CUDA与cuDNN开发环境
bjxiaxueliang的CODING茶馆
04-08 1378
随着深度学习技术的迅猛发展，越来越多的应用程序开始集成深度学习模型以提供智能化服务。为了满足这一需求，开发者们不仅依赖于Python等高级编程语言提供的便捷框架，也开始探索如何将这些模型与C++应用程序相结合，以便在性能关键型应用中充分利用底层硬件资源。LibTorch作为PyTorch的C++前端，正好满足了这种需求，其允许开发者直接在C++环境中构建、训练和部署深度学习模型。
TensorFlow 以及 cuda 和 cudnn 的环境配置问题
forever_008的博客
03-14 3307
一、首先要搞清楚的问题 1) 关于显卡驱动 显卡驱动是我们使用显卡的最基础的条件，没有显卡驱动就没有办法使用显卡；但是，对于机器学习或者深度学习环境的配置来说，不必过多的关注显卡驱动，我们要做的只是要看看我们的显卡驱动是不是版本过低，因为每一个版本的 cuda toolkit 都有一个最低版本的显卡驱动要求【如果版本过低或者不是 NVIDIA 驱动，因为CUDA Toolkit本地安装包内含特定版本Nvidia显卡驱动，下面安装 cuda 中可以选择更新显卡驱动】 显卡驱动版本一定不能低，而且支持向后兼容
【粉丝福利社】CUDA并行编程与性能优化
时光隧道
07-18 3610
《CUDA并行编程与性能优化》是一本系统全面的GPU编程指南，涵盖CUDA基础理论到高级优化的完整知识体系。全书分为三部分：基础理论（GPU架构、线程模型、内存管理）、高级编程技术（共享内存优化、原子操作等）以及多GPU协同计算实践。通过"原理-代码-优化"三位一体的教学方式，书中包含大量验证案例（如矩阵乘法、分子动力学模拟）和性能调优技巧（如Warp机制、Nsight工具分析）。适合高校学生、科研人员及开发者学习GPU并行计算，提升大规模数据处理与AI模型训练效率。作者徐佳宁博士结合电
新书速览|CUDA并行编程与性能优化
quanzhankaifaqua的博客
06-12 989
第1部分介绍CUDA的基本原理与编程模型，涵盖GPU硬件架构、线程模型、内存管理等基础内容，并提供开发环境配置与性能优化的方法，帮助读者快速上手CUDA编程。的教学设计，通过大量经过验证的代码实例与典型工程案例，帮助读者深入理解并掌握CUDA编程技术。《CUDA并行编程与性能优化》分为3部分。4.3 内存分配与释放：Unified Memory、cudaMallocManaged与cudaMemcpy的对比128。3.1 CUDA内存层级剖析：全局内存、共享内存、寄存器与局部内存的特性88。
YOLOv8自动驾驶系统 —— 行人检测预警模块 代码示例详细说明
最新发布
u010117029的博客
07-30 440
本文详细介绍了基于YOLOv8的自动驾驶行人检测预警模块的实现方案。该系统采用模块化设计，包含行人检测、距离估算、轨迹跟踪、风险评估和预警生成等核心功能。通过YOLOv8深度学习模型实现高精度行人检测，结合视觉几何原理估算行人距离，并采用多因素风险评估算法（距离50%、速度30%、位置20%）生成预警。系统支持可视化展示检测结果和轨迹，并通过跳帧处理、半精度计算等优化技术提升实时性能。该模块可集成到ADAS系统中，有效预防行人碰撞事故，提高驾驶安全性。
深度学习环境配置:PyTorch、CUDA和Python版本选择
abcdefghikk的博客
07-08 1323
在深度学习的世界里，选择合适的工具版本是项目成功的关键。CUDA、PyTorch和Python作为深度学习的三大支柱，它们的版本匹配问题不容忽视。错误的版本组合可能导致兼容性问题、性能下降甚至项目失败。因此，深入理解这三个组件之间的版本对应关系，是每一个深度学习开发者必须掌握的技能。目录一、核心组件架构硬件层-软件层关系图组件定义二、版本匹配矩阵常见的Python和PyTorch版本对应关系常见的Torch、CUDA和Python版本的对应关系三、安装教程步骤 1：安装 CUDA。
#C语言——学习攻略：深挖指针路线（三）--数组与指针的结合、冒泡排序
2501_91617454的博客
07-29 622
本文主要讲解了C语言中数组与指针的关系及应用。首先指出数组名在多数情况下代表首元素地址，但sizeof(数组名)和&数组名例外，前者计算整个数组大小，后者获取整个数组地址。接着介绍了用指针访问数组的方法，说明arr[i]、*(arr+i)和p[i]的等价性。然后分析了一维数组传参的本质是传递指针，因此在函数内部无法通过sizeof计算数组长度。此外，文章还讲解了冒泡排序的实现、二级指针的概念，以及如何使用指针数组模拟二维数组。这些内容有助于深入理解指针与数组的关系及其灵活应用。
C++ : list的模拟
2402_87310323的博客
07-25 937
找到pos前的节点位置，这里保存一下pos迭代器中的节点指针指向的前一个节点的指针_prev即可找到pos前的节点位置prev ，用new去申请一个值为val的节点作为要插入的新节点newnode，同时由于插入了一个节点，那么_size也应该对应加1。erase——初始状态无论有数据节点还是没有数据节点，这里的头节点都存在，不能被删除，所以应该使用asseert断言一下pos不等于头节点 ，删除一个节点之后list对象中的有效节点个数_size应该对应减一 ，必须是引用传参的形式，否则会造成无穷递归 ，
AI算法实现解析-C++实例
keny-大成的博客
07-29 1474
本文摘要： 本文汇总了基于C++实现的多种AI/机器学习技术，涵盖计算机视觉、自然语言处理和强化学习等领域。主要内容包括： 计算机视觉： 目标检测（YOLOv3/YOLO Tiny） 人脸识别（OpenCV Haar级联/OpenFace） 图像风格迁移（OpenCV DNN模块） 特征匹配（SIFT/Lucas-Kanade光流） 自然语言处理： 文本分类（朴素贝叶斯/TF-IDF） 语言模型（N-gram/Word2Vec） 文本生成（LSTM/GRU） 情感分析（FastText/深度学习） 强化学习
C++从入门到起飞之——右值引用！
2301_80221228的博客
07-28 554
本文摘要： C++左值与右值的核心区别在于能否取地址：左值有持久状态可寻址，右值为临时对象不可寻址。右值引用（T&&）通过移动语义"窃取"资源，显著提升效率。关键点包括：1）const左值引用可绑定右值；2）右值引用变量是左值属性；3）移动构造/赋值通过资源交换避免深拷贝；4）引用折叠规则（仅右值引用的右值引用保持右值特性）；5）完美转发（forward）解决引用退化问题。典型应用场景包括：函数返回局部对象时的资源转移、容器类深拷贝优化等。注意浅拷贝类无需实现移动语义，S
C语言：函数变量作用域、指针入门
2301_77829391的博客
07-27 982
*概念：**变量在程序运行中的存在时间（内存申请到内存释放的时间）根据变量存在的时间不同，变量可分为静态存储方式和动态存储方式//写法1 数据类型 * 变量列表;//写法2 数据类型 * 变量列表;//普通变量int a;//指针变量int *p1;// 正确//正确int* p4;//正确int* p5,p6;//注意：p6被当作int变量，不是指针注意：指针变量的值只能是8（32位系统）| 12（64位系统）位的十六进制整数。① 虽然定义指针变量*a，是在变量名前加上。
C++有一些流行的网络框架，比如Boost.Asio、libhv、cpp-httplib、libcurl。这些框架各有各的优点。
weixin_55491446的博客
07-29 231
摘要：C++主流网络框架对比，包括Boost.Asio(功能强大但复杂)、libhv(易用跨平台)、cpp-httplib(轻量HTTP)和libcurl(多协议支持)。各框架在性能、易用性、功能丰富度上各有优劣，需根据项目需求选择。事件驱动与多线程模型的差异影响开发复杂度，而异步I/O、跨平台支持和社区资源是选型关键因素。网络编程需权衡学习成本、系统资源和开发效率。（149字）
C++day06(练习题)
weixin_46669997的博客
07-27 367
【描述】格式化输入输出练习输入三个整数和一个浮点数，浮点数需要保留的不同小数点后面的数字。【输入描述】三个正整数以及以一个浮点数【输出描述】三个整数以及保留不同位数的浮点数【样例输入】1 2 39.12345678【样例输出】1239.19.129.123。
《C++ list 完全指南：list的模拟实现》
铭哥不写bug的博客
07-27 979
本文介绍了C++ list 完全指南中0list的模拟实现，期待你的关注！
【C++】继承
wefg1的博客
07-27 708
本文系统介绍了C++继承机制的核心概念与应用。重点阐述了继承的定义方式、访问权限控制、对象赋值转换规则、作用域处理、派生类默认成员函数实现等关键技术要点。深入分析了菱形继承问题及其虚拟继承解决方案的原理，通过虚基表指针和偏移量实现数据共享。对比了继承(is-a)与组合(has-a)的差异，指出组合在耦合度和封装性方面的优势。最后反思了C++多继承带来的复杂性，建议谨慎使用以避免菱形继承问题。文章通过大量代码示例展示了继承机制的实际应用，为面向对象程序设计中的代码复用提供了系统指导。
Effective C++ 条款02：尽量以 const, enum, inline 替换 #define
君鼎的博客
07-25 426
Effective_C++_02
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

信必诺

嗨，支持下哥们呗。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值