cuda 细节提要

最新推荐文章于 2025-03-24 22:38:38 发布
原创 最新推荐文章于 2025-03-24 22:38:38 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

double类型

若使用double的数据类型，自己编译一下程序，你会发现warning : Double is not supported. Demoting to float。但是如果你在编译时候自己加上-arch sm_13，有些gpu是支持double的。


CUDA：实现使用”double single”算法提高放大精度(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
03-02 314
CUDA：实现使用”double single”算法提高放大精度(附完整源码)
CUDA编程 原子操作atomicAdd对双精度浮点数double的重载
benobug的博客
03-31 6321
在设计CUDA并行程序的时候遇到的一个问题：并发线程每一个线程都需要对同一块内存中的值进行修改，由于并发的线程运行时间的不确定性，如果不对访存加以控制，将会导致计算得到的结果不正确。下面举个例子（我在项目中遇到的问题和该例子很类似） 举个栗子 甲乙两个线程运行到12：00的时候同时（也可以有些许先后）对同一块内存地址进行了读取操作，读到的数值是相同的，都是10，甲线程动作很快，把该值加上2之后又将...
一个你可能不知道的cuda细节
旅程
09-29 541
在 计算功能集2.0以上的 nvidia显卡中，cuda c的 32位单精度乘法，乘加快于 32位整数的乘法，乘加，甚至是移位 在2.1中， 速度比达到了3：1.  详见下图：
CUDA原子操作详解及其适用场景
专注于人工智能领域的小何尚
04-24 3106
CUDA原子操作详解及其适用场景 CUDA中的原子操作本质上是让线程在某个内存单元完成读-修改-写的过程中不被其他线程打扰. 官方的编程手册上是这么说的: “原子函数对驻留在全局或共享内存中的一个 32 位或 64 位字执行读-修改-写原子操作” 举个例子来说, 我有很多线程. 每个线程计算出了一个结果, 我需要把所有的结果加在一起, 如下图所示. 执行到这一步时, 有很多线程想读取X的值, 并加上另一个值. 如果你在你的Kernel程序最后面直接写 x=x+a, 那么当执行到这里的时候, 一个线程在读的
Cuda—— Atomic Functions
xiaohu的博客
03-27 1570
原子函数对驻留在全局或共享内存中的一个 32 位或 64 位字执行读取-修改-写入原子操作。在 float2 或 float4 的情况下，对驻留在全局内存中的向量的每个元素执行读取-修改-写入操作。例如，atomicAdd() 在全局或共享内存中的某个地址读取一个字，向其添加一个数字，然后将结果写回同一地址。原子函数只能在设备函数中使用。
CUDA并行排序(4)——双调排序(二维double型数据)
A person does not really understand something until after teaching it to a computer. Donald.E.Knuth
12-09 1028
#include #include #include #include using namespace std; #define CHECK(res) if(res!=cudaSuccess){exit(-1);} __global__ void helloCUDA(double **dp_out_params, unsigned int len) { //在核函数内部定义的变量，没有 _
CUDA并行排序(2)——二维Double型——分成大小两组
12-14
0.000000 6.100000 12.200000 18.300000 24.400000 30.500000 36.600000 42.700000 48.800000 1.000000 7.100000 13.200000 19.300000 25.400000 31.500000 37.600000 43.700000 49.800000
【pytorch-ssd目标检测】训练自己的模型（一）-环境安装，数据集准备
abysswatcher1的博客
01-31 2711
前情提要 此系列博客记录我从创建，训练，数据集，验证模型的检测精度等的全部踩坑过程，遇到的问题以及解决方法，留下点东西，作为自己这段时间学习的总结，如果能对他人有些帮助就更好了。 环境 系统：Windows10 GPU：GTX1660Ti CUDA：11.0 pytorch：1.6.0 训练过程中可以使用GPU加速，要安装对应自己显卡版本的CUDA，官网可查。不用的话只使用自己的CPU，速度会比较慢。 pytorch环境安装即SSD-pytorch代码下载 点击链接登陆pytorch官网根据电脑的操作系统配
ROS操作系统快速入门
NRWHF的博客
04-01 4158
ROS操作系统快速入门
[CLIP-VIT-L + Qwen] 多模态大模型源码阅读 - 模型训练篇
FlowerLoveJava的博客
08-27 846
collate_fn传入之前导入的data_collate函数，对训练数据进行统一的批处理，并利用partial函数固定tokenizer，black_token_length等参数，有关data_collate函数的细节请参考。训练参数的数据类，继承自transformers.TrainingArguments，并添加了一个新的参数feature_proj_lr，用于调整中间映射层的学习率。本节介绍的是模型训练部分。多模态模型的训练代码，将视觉模型的参数冻结，并采用LoRA对语言模型进行微调。
2D Gaussian Splatting for Geometrically Accurate Radiance Fields(用于实现几何精确辐射场的二维高斯溅射)
2403_85515624的博客
03-24 1426
受上面这些研究工作的启发，作者提出了用于三维场景重建和新视角合成的二维高斯溅射法，该方法结合了两者的优势，同时克服了它们的局限性。与三维高斯溅射法（3DGS）不同，作者的方法使用二维高斯基元来表示三维场景，每个基元定义一个具有方向的椭圆盘。二维高斯相对于三维高斯的显著优势在于其在渲染过程中能够精确表示几何形状。具体而言，3DGS 在像素光线与三维高斯的交点处评估高斯值 ，这导致从不同视点渲染时深度不一致。相比之下，作者的方法采用显式的光线 - 溅射相交计算，实现了透视正确的溅射效果。
Datawhale X 魔搭 AI夏令营第四期 魔搭-AIGC方向 task01笔记
linghyu的博客
08-07 4002
Datawhale AI夏令营第四期魔搭-AIGC方向 task01笔记及个人心得分享。 从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动（“AIGC”方向），基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习—— - 适合想 入门并实践 AIGC文生图、工作流搭建、LoRA微调 的学习者参与 学习内容提要：从文生图实现方案逐渐进阶，教程偏重图像工作流、微调、图像优化等思路，最后会简单介绍AIGC应用方向、数字人技术（选学）
CUDA并行排序(2)——一维Double型
12-07
Sorted 100000000 Double elems in 1803.735 ms (55.441 Melems/sec)
CUDA并行排序(2)——一维Double型10000
12-15
double a,b,c; char d,e; int size=20; double arr[size][3];
cusparse下载_CUDA 8混合精度编程
weixin_39951929的博客
12-20 581
CUDA 8混合精度编程Mixed-Precision Programming with CUDA 8论文地址：https://devblogs.nvidia.com/mixed-precision-programming-cuda-8/更新，2019年3月25日：最新的Volta和Turing GPU现在加入了张量核，加速了某些类型的FP16矩阵数学。这使得在流行的人工智能框架中进行更快、更容易...
CUDA编程：GPU float 与 double 精度问题
longteng_guo的博客
03-12 8435
本人在开发项目时，遇到这个非法访问内存的错误： Check failed: error == cudaSuccess (77 vs. 0) an illegal memory access was encountered 检查了很长时间代码，也没检查出错误，最后通过逐步输出中间结果进行调试，发现某些变量被GPU计算错了，而导致这个错误的原因就是：float 精度不够，索引是根据中间计算而来，当误差特别大时，会导致内存索引所以变得非常大，而导致非法访问内存的错误。 我在代码中使用了float类型，而在 GPU
CUDA编程（九）原子函数的合理使用
qq_43616651的博客
10-26 1373
实施原子操作（atomicoperation）的函数，简称为原子函数。在CUDA中，一个线程的原子操作可以在不受其他线程的任何操作的影响下完成对某个（全局内存或共享内存中的）数据的一套“读-改-写”操作。该套操作也可以说是不可分的。
GPU 编程 CUDA C++ 使用 atomicCAS( ) 函数实现双精度浮点数的 atomicAdd( ) 函数
行子的博客
03-31 1165
是CUDA内置函数，用于将双精度浮点数和unsigned long long类型相互转换。需要注意的是，由于atomicCAS()函数只能操作32位或64位的数据，因此需要将双精度浮点数强制转换为unsigned long long类型。
Ubuntu12.04 cuda5.5安装
fulva的专栏
09-16 6244
预处理步骤：  首先确认你的电脑装了一个可以运行CUDA程序的GPU。 lspci | grep -i nvidia 另外要确认linux版本和gcc版本 具体参考链接：http://docs.nvidia.com/cuda/cuda-getting-started-guide-for-linux/index.html 下载Nvdia Toolkit  下载链接：http://
cuda11.6安装细节
最新发布
08-06
### 安装 CUDA Toolkit 11.6 的完整步骤 以下是针对 Windows 系统（以 Win10/Win11 为例）安装 **CUDA Toolkit 11.6** 的详细步骤说明： #### 1. 确认系统环境与硬件支持 在安装之前，确保满足以下条件： - **NVIDIA 显卡驱动版本支持 CUDA 11.6**，可通过 [NVIDIA 官方网站](https://www.nvidia.com/Download/index.aspx) 下载并安装最新驱动。 - 检查 GPU 是否支持 CUDA，可通过 [CUDA GPUs](https://developer.nvidia.com/cuda-gpus) 页面确认。 - 确保操作系统为 **Windows 10 或 Windows 11**，且系统已更新至最新状态。 #### 2. 下载 CUDA Toolkit 11.6 安装包 访问 [NVIDIA CUDA Toolkit 官方下载页面](https://developer.nvidia.com/cuda-11-6-0-download-archive)： - 选择操作系统类型（Windows）。 - 选择架构（一般为 x86_64）。 - 选择版本：**11.6.0**。 - 下载 **exe (local)** 格式的安装包。 #### 3. 安装 CUDA Toolkit 11.6 下载完成后，执行以下步骤： - 双击安装包，系统会提示解压临时文件夹，选择一个路径用于临时解压（建议选择空间较大的磁盘）。 - 解压完成后，进入安装界面： - 接受许可协议。 - 选择安装组件： - **CUDA Driver**（必须安装）。 - **CUDA Toolkit**（核心开发工具）。 - **CUDA Samples**（示例代码）。 - **CUDA Documentation**（文档）。 - **Visual Studio Integration**（如使用 Visual Studio 开发则建议安装）。 - 点击 **Install** 开始安装。 - 安装过程中，如已有旧版本 CUDA，安装程序会提示是否覆盖安装或并行安装[^3]。 #### 4. 配置环境变量 安装完成后，需手动配置环境变量以供开发使用： - 打开 **系统属性 → 高级系统设置 → 环境变量**。 - 在 **系统变量** 中，找到 `Path`，添加以下路径： - `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\bin` - `C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\libnvvp` #### 5. 验证安装 打开命令提示符（cmd），输入以下命令： ```bash nvcc --version ``` 若输出显示版本为 **release 11.6.0**，则表示安装成功[^1]。 #### 6. 安装 cuDNN（可选） 如需进行深度学习开发，建议安装 cuDNN： - 访问 [cuDNN 官方下载页面](https://developer.nvidia.com/cudnn)，需登录 NVIDIA 开发者账号。 - 下载与 CUDA 11.6 对应的 cuDNN 版本（如 cuDNN 8.4）。 - 解压下载的文件，并将 `bin`、`include`、`lib` 文件夹中的内容复制到 CUDA 安装目录下的对应文件夹中： ```bash C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.6\ ``` #### 7. 测试 CUDA 示例程序（可选） 进入 CUDA 示例安装路径（默认路径）： ```bash C:\ProgramData\NVIDIA Corporation\CUDA Samples\v11.6\bin\win64\Release ``` 运行任意示例程序（如 `deviceQuery.exe`），查看是否能正确输出 GPU 信息。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值