pytorch调用手写CUDA算子和pybind11的使用

已于 2024-10-24 11:47:26 修改
阅读量532 收藏 1
点赞数
分类专栏： 高性能计算 文章标签： pytorch 人工智能 python 1024程序员节
于 2024-10-23 21:15:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/forrestguang/article/details/143193363
版权

之前介绍了很多CUDA编写算子的代码，但是一直缺乏一个好的方法来证明自己手写算子的正确性，以及希望知道自己的手写算子在时间上和pytorch的差异，这里我们需要用到pybind11这个工具，这个工具可以将我们手写的CUDA代码编译为动态库，最终形成一个崭新的module，使得pytorch可以调用我们手写的算子进行计算。下面我们先介绍一下代码结构：

代码架构

softmax.cu

#include <pybind11/pybind11.h>
#include <pybind11/numpy.h>
了解本专栏 订阅专栏 解锁全文
基于pybind11的c++开发cuda算子用于python调用
weixin_37684231的博客
01-02 965
基于pybind11的cuda与c++ python的混合编程技术
pybind11: 无缝连接 C++ 和 Python
m0_56734068的博客
09-27 880
无论是要将现有的 C++ 库暴露给 Python 用户,还是要在 Python 项目中集成高性能的 C++ 代码,pybind11 都是一个极具吸引力的选择。pybind11 应运而生,旨在弥合这两种语言之间的鸿沟,为开发者提供了一种简单而高效的方式来创建 C++ 和 Python 之间的绑定。无论您是经验丰富的 C++ 开发者,还是喜欢 Python 简洁语法的程序员,pybind11 都为您提供了一个理想的工具,让两个世界完美融合。此外,pybind11 还提供了丰富的文档和示例,帮助开发者快速上手。
PyTorch 源码学习③：Dispatch & Autograd & Operators
最新发布
weixin_43254181的博客
02-21 1222
分享关于 PyTorch 动态计算图有关的算子 (Operators) 注册、分发 (Dispatch) 机制和自动微分 (Autograd) 机制的资料。
PyTorch~调用自定义CUDA算子
weixin_41456532的博客
07-31 211
这是一篇pytorch与cuda结合的~~ 用PyTorch编译并调用自定义CUDA算子的三种方式：JIT、Setuptools、CMake。代码地址https://github.com/godweiyang/torch-cuda-example运行环境NVIDIA Driver: 418.116.00CUDA: 11...
深入解析PyTorch中的PYBIND11_MODULE：功能与实现
阿正的梦工坊
12-31 1641
通过PYBIND11_MODULE宏，我们可以轻松地将C++实现的函数和类注册到Python中，允许Python用户直接调用这些高效的C++代码。
pybind11混合CUDA+Python+C++编程
Hali_Botebie的博客
04-01 410
在cu文件里写如下代码，注意头文件包括头文件cuh里写这个，注意必须写上 __declspec(dllexport) ，不然生成的lib文件里没有该函数。
PyTorch~调用CUDA算子2
whaosoft143ai的博客
05-02 347
通过举例说明如何给pytorch 加入有趣的新 CUDA 算子（包括前向和反向）。本文的代码，在 win10 和 linux 均可直接编译运行：因此，我们可以用 CUDA 手写算子。实际测试，正向和反向速度可以 20x。如果你从未尝试给 pytorch 添加 CUDA 算子，可以先阅读下面这个教程：下面我们看看，如何逐步优化 CUDA kernel 的写法。whaosoft aiot http://143ai.com
CUDA-MODE 第一课: 如何在 PyTorch 中 profile CUDA kernels
I good vegetable a!
08-09 1411
我的课程笔记，欢迎关注：https://github.com/BBuf/how-to-optim-algorithm-in-cuda/tree/master/cuda-mode。
基于pytorch的手写数字识别-训练+使用
2303_77275067的博客
10-06 807
预测准确率: 100.00%
【Pytorch-手写字体识别】手写字体识别项目
weixin_71003977的博客
06-06 3575
Pytorch进行手写数字识别
【pytorch源码分析--torch执行流程与编译原理】
xzpdxz的博客
11-06 4016
aten: A Tensor Library的缩写。与Tensor相关的内容都放在这个目录下。如Tensor的定义、存储、Tensor间的操作（即算子/OP）等可以看到在aten/src/Aten目录下，算子实现都在native/目录中。其中有CPU的算子实现，以及CUDA的算子实现（cuda/）等torch: 即PyTorch的前端代码。我们用户在import torch时实际引入的是这个目录。其中包括前端的Python文件，也包括高性能的c++底层实现（csrc/）。
PyTorch 2.0 新特性
qq_45355365的博客
07-09 1607
TorchInductor 是一项旨在显著提升代码生成速度的技术，它巧妙地利用了定义即运行（Define-by-Run）的中间表示（Intermediate Representation, IR）。在深度学习框架中，中间表示是一种将用户代码转换为更底层、更易于优化形式的抽象表示。传统上，这种转换和优化工作通常在每次运行时动态完成，虽然提供了灵活性，但可能会影响性能。
PyTorch 源码学习①：阅读经验 & 代码结构
weixin_43254181的博客
02-13 1213
分享关于 PyTorch 源码阅读经验和 PyTorch 代码结构的资料。
梳理cuda算子编译与python调用的流程_以vllm为例
u011590738的博客
02-02 2776
在这个例子中，编译后的输出文件是/data/caiyueliang/vllm/build/temp.linux-x86_64-cpython-310/csrc/cuda_utils_kernels.o。-DTORCH_API_INCLUDE_EXTENSION_H、-DTORCH_EXTENSION_NAME=_ext、-D_GLIBCXX_USE_CXX11_ABI=0: 这些是针对PyTorch扩展的特定宏定义。在上述代码中我们终于看到了vllm._C，该名字正是新定义的扩展的名字。
DLA :pytorch添加算子
ResumeProject的博客
07-29 1946
介绍了简单的CUDA入门，涉及到CUDA执行模型、线程层次、CUDA内存模型、核函数的编写方式以及PyTorch使用CUDA扩展的两种方式。通过该项目可以基本入门基于PyTorch的CUDA扩展的开发方式。就总体的逻辑来说正向传播需要输入数据，反向传播需要输入数据和上一层的梯度，然后分别实现这两个kernel,将这两个kernerl绑定到pytorch即可。这部分主要介绍如何在pytorch中添加自定义的算子，需要以下。ScatWave是使用CUDA散射的Torch实现,主要使用lua语言。
[Pytorch 源码阅读] —— 谈谈 dispatcher（二）
Chris_zhangrx的博客
08-08 3320
文章目录前言源码阅读IValue 类schemaOperatorHandleKernelFunctionOperatorEntryDispatcher内部调用逻辑kernel 是如何注册上的根据数据类型再次分发总结 前言 这里接上文 [Pytorch 源码阅读] —— 谈谈 dispatcher 中对 Pytorch 中 dispatcher 的相关概念介绍，主要是对相关概念和类间的关系做一个概述，没有读过前面文章的同学建议先读一下前面的文章。这里就是深入各个类的源码，对这些类做一个详细的解读。文章篇幅会
【2023CANN训练营第二季】——Ascend C算子开发（进阶）微认证
qq_45257495的博客
12-21 5489
build_out文件夹是后面编译部署生成的，这里我们主要要修改的文件有：CMakePresets.json，op_host目录下的sinh_custom_tiling.h、sinh_custom.cpp、op_kernel目录下的sinh_custom.cpp。参考tensorflow的Sinh算子，实现Ascend C算子Sinh,算子命名为SinhCustom，并完成aclnn算子调用相关算法: sinh(x) = (exp(x) - exp(-x)) / 2.0。
【OpenPCDet】稀疏卷积SPConv-v1.2代码解读(3)
11-03 1624
在src/spconv/all.cc文件中通过Pytorch提供的OP Register(算子注册的方式)对底层c++ api进行了注册，所以这里实际调用的是src/spconv/spconv_ops.cc文件种的getIndicePairs函数。indiceNum用于保存卷积核每一个位置上的总的计算的次数，因为是稀疏卷积所以卷积核上每一个元素和有效数据的运算次数可能是不同的。本质上来说就是一个表。再将输入、输出的哈希表中的序号建立起联系，这样就可以基本实现稀疏卷积，因此这也是稀疏卷积实现的关键。
anaconda使用CUDAExtension
12-31
### 配置和使用 CUDA Extension 在 Anaconda 环境中配置并使用 `CUDAExtension` 主要涉及几个关键步骤，包括环境准备、安装必要的库以及编写扩展模块。 #### 创建合适的 Conda 环境 为了确保兼容性和性能优化，在创建新的 conda 环境时指定 Python 版本和其他依赖项非常重要。对于 TensorFlow 和 PyTorch 的 GPU 支持来说，通常建议选择特定版本的 Python 及其对应的 CUDA 工具链[^1]。 ```bash conda create -n cudaext_env python=3.7 anaconda conda activate cudaext_env ``` #### 安装必需软件包 除了基础的 Anaconda 发行版外，还需要额外安装一些用于构建 C++ 扩展的支持工具： - **PyTorch**: 提供了简化接口来编译自定义操作符。 ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu101 ``` - **NVIDIA CUDA Toolkit**: 如果尚未安装，则需按照官方指南完成设置；注意匹配已有的驱动程序版本与目标框架需求相一致[^2]。 - **其他开发工具**：如 CMake 或者 Visual Studio 构建工具集（针对 Windows 用户），这些可以帮助更好地管理复杂的项目结构。 #### 编写 CUDA Expansion Module 基于给定的例子，可以参照如下模板来自定义一个简单的 CUDA 扩展模块[^4]: ```python from setuptools import setup, Extension from torch.utils.cpp_extension import BuildExtension, CUDAExtension setup( name='cppcuda_tutorial', ext_modules=[ CUDAExtension('cppcuda_tutorial', [ 'src/cppcuda_tutorial.cpp', 'src/add.cu' ]) ], cmdclass={ 'build_ext': BuildExtension } ) ``` 此脚本会自动检测系统上是否存在 NVIDIA 编译器 nvcc 并调用它来进行实际的源文件转换工作。需要注意的是路径应当指向本地存储的实际位置。 #### 构建与测试 保存上述代码到名为 `setup.py` 文件之后即可执行命令启动整个过程: ```bash python setup.py install ``` 成功完成后应该可以在当前环境中找到新生成的共享对象(.so)，此时就可以像平常一样导入并在应用程序里正常使用了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

谨慎付费（看不懂试读博客不要订阅）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值