CUDA 学习笔记之程序栈

最新推荐文章于 2025-02-09 16:56:31 发布

转载最新推荐文章于 2025-02-09 16:56:31 发布 · 372 阅读

文章标签：

#python #runtime

本文详细介绍了CUDA中运行时API与驱动API的区别及使用场景。运行时API与驱动API不可同时使用，通常推荐使用运行时API，因为它无需手动初始化。文章还解释了两种API所对应的动态库及其调用前的注意事项。

部署运行你感兴趣的模型镜像

程序栈

驱动是直接操纵设备的，而运行时是立足于驱动之上的，库是建立在驱动和运行时上的。

驱动api和运行api是互斥的，不能够同时使用，一般优先使用运行时api，并且runtime api无需手工初始化。而driver要求手工初始化。但是driver api是独立于语言的。

runtime api使用cudart 动态库，以cuda为前缀。而driver api使用cuda 动态库，在使用前要包含相应的库文件，以cu为前缀。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/22785983/viewspace-661688/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/22785983/viewspace-661688/

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cs199503

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

CUDA编程基础:了解malloc以及堆、栈的基本概念，malloc声明的优点

pvmsmfchcs的博客

09-16

899

heap(堆)、stack(栈)栈，在执行函数时，函数内局部变量的存储单元都可以在栈上创建，函数执行结束时这些存储单元自动被释放。栈内存分配运算内置于处理器的指令集中，效率很高，但是分配的内存容量有限（栈的大小是2MB，而申请堆空间的大小一般小于2G堆，就是那些由new分配的内存块，他们的释放编译器不去管，由我们的应用程序去控制，一般一个new就要对应一个delete。如果程序员没有释放掉，那么在程序结束后，操作系统会自动回收。

CUDA系统学习之一软件堆栈架构

wangli的博客

11-06

3375

所以看出CPU用于控制运行application，做复杂控制，GPU只用于大规模并行计算，GPU不能离开CPU单独使用，由CPU来统一管理系统资源，GPU专注计算任务。CUDA组件必须运行在CPU上，作为CPU和GPU之间的桥梁，管理和协调两种处理器的工作。1. PyTorch(应用层)调用cuDNN(Libraries层)的优化函数。# 安装NVIDIA驱动(适用于A800的最新驱动，如535)# 拉取NVIDIA优化的PyTorch容器(以最新版为例)# 设置环境变量(添加到 ~/.bashrc)

参与评论您还未登录，请先登录后发表或查看评论

GPU软件体系

wufenxia的专栏

05-24

3299

CUDA的软件体系 CUDA的软件堆栈由以下三层构成：CUDA Library、CUDA runtime API、CUDA driver API，如图所示，CUDA的核心是CUDA C语言，它包含对C语言的最小扩展集和一个运行时库，使用这些扩展和运行时库的源文件必须通过nvcc编译器进行编译。 CUDA C语言编译得到的只是GPU端代码，而要管理费用GPU资源

CUDA的软件体系

chengmoling的博客

07-09

1960

一、CUDA的软件体系可以分为三层结构：CUDA函数库、CUDA运行时API以及CUDA驱动API。三层结构的调用关系如下图所示：应用程序可以通过三种方式使用GPU，处于较高层的结构需要通过底层的结构使用GPU。二、驱动API 1、驱动API是一种基于句柄的底层接口，大多数队形通过句柄被引用，其函数前缀为cu 2、在调用驱动API前必须进行初始化，然后创建一个CUDA上下文，该上下文关...

并行计算之路<6>——CUDA的软件架构

空城记

02-23

3913

NVIDIA CUDA并行编程语言及其矢量相加实例——一文带你快速入门

张小殊的博客

10-10

6299

CUDA的软件堆栈由以下三层构成：如图1所示，CUDA的核心是CUDA C语言，它包含对C语言的最小扩展集和一个运行时库，使用这些扩展和运行时库的源文件必须通过nvcc编译器进行编译。图1 CUDA软件栈示意图CUDA C语言编译得到的只是GPU端代码，而要管理分配GPU资源，在GPU上分配显存并启动内核函数，就必须借助CUDA运行时的API或者CUDA驱动APIDriver API）来实现。在一个程序中只能使用CUDA运行时API与。

基于《CUDA 编程-基础与实践》的 CUDA 学习笔记.zip

11-19

基于《CUDA 编程——基础与实践》的 CUDA 学习笔记 这个项目是一个基于《CUDA 编程——基础与实践》（樊哲勇）的 CUDA 学习笔记。它包含了 GPU 硬件与 CUDA 程序开发工具、CUDA 中的线程组织、CUDA 程序的基本框架...

CUDA学习笔记，GPU编程，C++编程

02-09

通过使用 CUDA 技术栈，开发者能够针对 NVIDIA 显卡优化程序性能。这通常意味着要掌握特定的编程模型，比如内核函数的设计与调用方式[^2]。 ```cpp // 这是一个简单的向量加法 CUDA 内核实现例子 __global__ void ...

【2023 · CANN训练营第一季】模型的迁移和调优方法学习笔记

qq_43603900的博客

05-04

973

【2023 · CANN训练营第一季】模型的迁移和调优方法学习笔记

JVM学习笔记之命令行监控工具

四国棋客

03-21

3034

目录背景 jps：查看正在运行的java进程 -q参数：只显示pid -l：显示pid和主程序的全类名 -m：显示pid、进程名和主函数启动参数： -v：显示pid、进程名和主函数启动的JVM参数： jstat：查看JVM统计信息 option参数类装载相关的垃圾回收相关的 JIT相关的 interval参数 count参数 -t参数 -h参数 jinfo：实时查看和修改JVM参数与jps -v的区别查看参数 jinfo -sysprops PID jinf

CUDA错误处理机制：防止程序崩溃的5个关键技巧

随着并行计算的发展，CUDA成为加速计算的重要工具，但错误处理机制的设计和实现是保障程序稳定运行的关键。本文全面介绍了CUDA错误处理机制，涵盖错误类型及诊断、预防性错误处理技术以及错误恢复策略。文中详细分析...

看这篇就够了——ubuntu系统中的cuda cudnn cudatookit及pytorch使用

HUASHUDEYANJING的博客

02-03

5211

通常情况如果先安装了显卡驱动，nvidia-smi显示的版本要比nvcc-V的高，在选择runtime CUDA时需要查看显卡的型号和pytorch的需要版本确定，并没有特别严格必须一个版本的限制，也就是说一个电脑上conda每个环境都可以拥有不同版本的cuda。答案是可以，只需要安装完整版的CUDAtookit（nvidia）一次性安装，就是把CUDA Toolkit安装时Driver前面的X加上，在这之前如果安装过nvidia驱动需要将它卸载，否则会安装失败，失败原因是两个driver CUDA冲突。

CUDA学习

Marshall的专栏

06-23

3081

转自 CUDA学习之一 CUDA 的核心有三个重要抽象概念：线程组层次结构、共享存储器、屏蔽同步（barrier synchronization），可轻松将其作为 C 语言的最小扩展级公开给程序员。 GPU 专用于解决可表示为数据并行计算的问题——在许多数据元素上并行执行的程序，具有极高的计算密度（数学运算与存储器运算的比率）。由于所有数据元素都执行相同的程序，因此对精密流控制的要求不高

leetcode 225. Implement Stack using Queues (用队列实现栈）

蓝羽飞鸟的博客

03-17

194

Implement the following operations of a stack using queues. push(x) – Push element x onto stack. pop() – Removes the element on top of the stack. top() – Get the top element. empty() – Return whether ...

CUDA 编程简介（上）

weixin_44885334的博客

12-03

1476

CPU 与 GPU 的硬件结构：可以看出，GPU 与 CPU 本质上没什么区别。仅仅是 GPU 的逻辑控制单元较为简单，并拥有大量的运算单元（共享内存的众核处理器）。GPU 除了图像处理，也可以做科学计算，然而 GPU 的 API 特别难用。CUDA（Compute Unified Device Architecture）是一种简单的轻量级软件，方便人们在 GPU 上编程。CUDA 软件栈：下面，我们举例 Nvidia Tesla 架构，G80 型号。流多处理器（Streaming Multipr

CUDA 学习笔记一

I good vegetable a!

07-17

734

CUDA:一个在 GPU 上计算的新架构 CUDA ( Compute Unified Device Architecture ) 统一计算设备架构,在 GPU 上发布的一个新的硬件和软件架构,它不需要映射到一个图型 API 便可在 GPU 上管理和进行并行数据计算。从 G80 系列和以后的型号都可以支持。操作系统的多任务机制通过几个 CUDA 和图型应用程序协调运行来管理访问 GPU 。 DR...

图形基础 GPU架构（2）软件调用栈

thefist的专栏

04-09

662

CUDA基础介绍

weixin_44824582的博客

03-10

2132

一、GPU简介 1985年8月20日ATi公司成立，同年10月ATi使用ASIC技术开发出了第一款图形芯片和图形卡，1992年4月ATi发布了Mach32图形卡集成了图形加速功能，1998年4月ATi被IDC评选为图形芯片工业的市场领导者，但那时候这种芯片还没有GPU的称号，很长的一段时间ATi都是把图形处理器称为VPU，直到AMD收购ATi之后其图形芯片才正式采用GPU的名字。

【笔记】GPU、CUDA 和 cuDNN 学习研究