编译CUDA cutlass 并解决一个error

最新推荐文章于 2024-12-14 21:14:22 发布
最新推荐文章于 2024-12-14 21:14:22 发布
阅读量659 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： CUDA 文章标签： c++ gpu算力 AI编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/csdn_leo_ni/article/details/140323617

Steps:

$ mkdir build && cd build
$ cmake .. -DCUTLASS_NVCC_ARCHS=80    # compiles for NVIDIA  Ampere GPU architecture
ERROR：
/usr/include/c++/11/bits/std_function.h:435:145: error: parameter packs not expanded with ‘...’:
fix： use g++10
$ sudo apt install gcc-10 g++-10
$ cmake .. -DCUTLASS_NVCC_ARCHS=80 -DCMAKE_CUDA_HOST_COMPILER=/usr/bin/g++-10
$ make cutlass_profiler -j12

 

安装flash-attn出现RuntimeError current installed version g++ (4.8.5) is less than mininum version解决方案
weixin_43178406的博客
08-07 5万+
 本文主要介绍了安装flash-attn出现RuntimeError current installed version g++ (4.8.5) is less than mininum version解决方案，希望能对学习大语言模型的同学们有所帮助。需要说明的是本解决方案是通用性的，并且只对具体虚拟环境中的g++进行升级，而不需要对root环境进行升级，后者可能会对系统操作不可逆转的问题。 文章目录 1. 问题描述 2. 解决方案
cuda实现gemm
youzjuer的博客
10-11 411
对于 C 矩阵的每一个元素，都要读取 A 矩阵的一行和 B 矩阵的一列来计算，那么计算完整的 C 矩阵，A B 矩阵都要重复读取多次，所以直接按定义计算效率很低。首先说明，很多文章在解释这种方案性能差的时候，都是以太高作为主要理由，实际上在并行计算中，是常用的设计方法，延迟只要能被其他过程覆盖就没有问题。对于 FP32 数据，如上图所示，一个 warp 一次做 32 次 FFMA，对应 64OP，需读取 A 矩阵 1 个元素和 B 矩阵 32 个元素，共 132byte。
cutlass 第一节：下载 编译 运行 cutlass 的一些备忘信息 ubuntu docker
eloudy的专栏
02-19 4805
—————v100———cutlass—start——————————————————————————————————————————— __________web site__________________________________________________ https://developer.nvidia.com/blog/cutlass-linear-algebra-cuda/ https://github.com/NVIDIA/cutlass 参考READ.md ______
CUTLASS 项目教程
gitblog_00541的博客
10-11 1200
CUTLASS 项目教程 1. 项目目录结构及介绍 CUTLASS 项目的目录结构如下： cutlass/ ├── cmake/ ├── docs/ ├── examples/ ├── include/ ├── media/ ├── python/ ├── test/ ├── tools/ ├── .gitignore ├── .gitmodules ├── CHANGELOG.md ├── CI...
【免费下载】 CUTLASS 项目使用教程
gitblog_00440的博客
10-11 2462
CUTLASS 项目使用教程 1. 项目介绍 CUTLASS（CUDA Templates for Linear Algebra Subroutines）是 NVIDIA 开发的一个 CUDA C++ 模板库，旨在实现高性能的矩阵-矩阵乘法（GEMM）及相关计算。CUTLASS 提供了层次化分解和数据移动的策略，类似于 cuBLAS 和 cuDNN 的实现方式。通过 C++ 模板类，CUTLASS...
cutlass入门: 调用cutlass做通用矩阵乘法Gemm（附代码）
LconLu的博客
05-28 9546
cutlass是CUDA C++模板抽象的集合，用于实现CUDA中所有级别和规模的高性能矩阵乘法（GEMM）和相关计算。相较于cuBLAS和cuDNN，cutlass中包含了更多可重用的模块化软件组件，这使得cutlass相较于前两者更为灵活。 本文将展示如何用cutlass实现最基本的矩阵计算。 cutlass的使用流程与普通kernel大致相同：先在host端分配空间生成数据，再将host端的数据传入device端的buffer中，输入参数调用cutlass模块进行运算，最后将device端的数据传
Peract-复现
konodiodaaa的博客
08-24 702
peract复现过程遇到的问题
【CUDA】CUBLAS
jokerMingge的博客
12-14 1439
【CUDA】CUBLAS 在深入了解之前，提前运行预热（warmup）和基准测试（benchmark runs） 是获得准确执行时间的关键。如果不进行预热运行，cuBLAS 的首次运行会有较大的开销（大约 45 毫秒），会导致结果偏差。基准测试能够更准确地计算出平均执行时间。 cuBLAS：CUDA 基本线性代数子程序库 简介：cuBLAS 是 NVIDIA 的 GPU 加速线性代数运算库，广泛应用于 人工智能（AI） 和 高性能计算（HPC） 领域。 功能：提供了行业标准的 BLAS 和 GEMM（矩
安装flash-Attention报错的解决 编译flash-attn，python setup.py install
强化学习曾小健
07-25 1855
【代码】安装flash-Attention报错的解决。
07-04 周四 关于vLLM(LLMs_inference)源码安装过程问题与解决
不当初
07-10 4897
由于最近需要向vLLM上集成功能，因此，需要能够调试自己的仓库LLMs_Inference，该文档记录了源码编译的完整的过程。正常简单执行下述的代码，即可完成源码的编译安装cd vllm但实际上还是比较麻烦的。因为仓库LLMs_Inference是从vllm仓库fork出来的，所以理论上应该是一样的。仓库中有多个依赖环境，这些文件通常用于记录项目的依赖关系，以便在特定环境中进行安装和配置。：一般用于列出项目所需的所有依赖项及其版本要求。通过在该文件中指定所需的库和版本，方便一次性安装所有依赖。
CUTLASS Building & Compilation
qq_44026293的博客
05-01 1725
How to build & compile CUTLASS
记录一个StyleGANv2、Diffusion-GAN等中遇到的：ninja: build stopped: subcommand failed.
weixin_44616294的博客
12-04 3513
记录一个StyleGANv2、Diffusion-GAN等中遇到的：ninja: bu 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录python爬虫：前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内
记录尝试跑nerf_slam的过程
cici0yiyi的专栏
11-21 445
修改了/home/cici/nav2_ws/src/nerf_slam/NeRF-SLAM/thirdparty/instant-ngp/CMakeLists.txt。修改代码/home/cici/nav2_ws/src/nerf_slam/NeRF-SLAM/fusion/nerf_fusion.py。更改了Path没用，因为/usr/bin/nvcc 指向了toolkit下的nvcc。不行，在pytorch官网升级了版本，应该是cuda11.5与gcc11版本不兼容。需要更换显卡，到此为止。
传入参数为函数并且该函数的参数也同时传入
修也
05-12 647
#include using namespace std; template void runFunc(Fun &&f,Args&&... args){//注意空格啊 f(args...);//注意内部怎么传参的啊 } //总之注意以上的"..." void f1(){ cout << "f1" << endl; } void f2(int a){ cout << "f2:" << a <<
100%解决：AssertionError: Torch not compiled with CUDA enabled
热门推荐
qq_45826605的博客
05-14 1万+
100%完美解决Torch not compiled with CUDA enabled问题
/usr/include/c++/11/bits/std_function.h:530:146: error: parameter packs not expanded with ‘...’:
cumtchw
09-14 783
/usr/include/c++/11/bits/std_function.h:530:146: error: parameter packs not expanded with ‘...’:
项目复现---nvdiffrec
j1829634的博客
07-04 2906
复现项目GitHub - NVlabs/nvdiffrec: Official code for the CVPR 2022 (oral) paper "Extracting Triangular 3D Models, Materials, and Lighting From Images".1、前面下载安装顺利，运行如下命令出现报错 上面的命令是一个结合的命令，首先会用git去下载项目，然后进入项目中setup.py文件所在的位置，接着运行这个文件，安装项目，故可以手动下载项目，然后进行项目的安装2、
AssertionError错误（assert ‘ ‘.join(pos_parts) == pos_usage）
qq_55890213的博客
11-18 413
解决python报错assert ' '.join(pos_parts) == pos_usage
手动安装VLLM出现的问题：fatal error: cuda_fp8.h: No such file or directory
qq_43367614的博客
09-03 1977
需要这个的原因，可能是下面的nvidia-cuda-toolkit残留，导致被判定为cuda11.0了，不过设置了后，问题也不出现了。如果上面两个命令都有nvcc路径，并且不一致，就是不行的，需要卸载nvidia-cuda-toolkit。因为系统上 nvidia-cuda-toolkit 也 存在 NVCC 在 /usr/bin下面。就行，此处是禁用 HTTP/2。
无法解析flash_attn
最新发布
05-26
### 无法解析 `flash_attn` 的解决方案 当遇到 `flash_attn` 无法解析的问题时，通常可能涉及以下几个方面的原因及其对应的解决方法： #### 1. **架构不匹配** 如果目标设备的 GPU 架构与安装的 `flash_attn` 不兼容，则可能导致构建失败或运行时错误。可以通过以下方式验证并调整： - 验证当前 GPU 的计算能力（Compute Capability），例如 A100 对应的是 sm_80[^1]。 - 设置环境变量 `TORCH_CUDA_ARCH_LIST` 来指定支持的 CUDA 架构版本。 ```bash export TORCH_CUDA_ARCH_LIST="7.5 8.0" pip install flash-attn --no-build-isolation ``` 此命令会重新编译适用于特定架构的库文件[^1]。 --- #### 2. **头文件缺失** 某些情况下，`flash_attn` 安装过程中依赖于 NVIDIA CUTLASS 库的头文件。如果没有找到这些文件，则会出现类似 `cutlass/*.h: No such file` 的错误消息[^2]。 解决办法如下： - 确认已安装最新版的 NVIDIA Toolkit 或者单独下载 CUTLASS 源码包。 - 如果仍然存在问题，可以尝试手动克隆官方仓库中的 CUTLASS 并将其路径加入到系统环境中。 ```bash git clone https://github.com/NVIDIA/cutlass.git cd cutlass && mkdir build && cd build cmake .. make -j$(nproc) export CPATH=$(pwd)/include:$CPATH ``` 完成以上步骤后再执行 `pip install flash-attn` 命令即可[^2]。 --- #### 3. **Python 版本冲突** 不同 Python 版本可能会引发 ABI 兼容性问题，从而阻止动态链接器加载所需的共享对象(.so) 文件。建议检查现有解释器是否满足最低要求，并考虑创建虚拟环境来隔离开发依赖关系。 ```python import sys print(sys.version_info[:]) if sys.version_info < (3, 8): raise RuntimeError("Please upgrade to at least Python 3.8.") ``` 此外，在激活新环境下重复安装流程也是推荐的做法之一[^4]。 --- #### 4. **PyTorch 同步更新** 由于 `flash_attn` 是基于 PyTorch 实现的一个高性能注意力机制扩展模块，因此它往往需要配合较新的框架版本才能正常工作。确认本地使用的 PyTorch 是否已经升级至最近稳定发布版本。 ```bash pip list | grep torch pip install --upgrade torch torchvision torchaudio cudatoolkit ``` 同时注意切换正确的 CUDA 工具链选项以适配硬件条件[^3]。 --- #### 5. **数据预处理不当** 即使解决了上述技术障碍之后，仍有可能因为输入张量形状不符合预期而导致调用失败。为此可引入自定义批处理逻辑移除多余填充部分[^5]。 ```python def collate_flatten(batch): input_ids = torch.concat([b['input_ids'] for b in batch]).unsqueeze(0) labels = torch.concat([b['labels'] for b in batch]).unsqueeze(0) position_ids = [torch.arange(b['input_ids'].shape[0]) for b in batch] position_ids = torch.concat(position_ids) return { 'input_ids': input_ids, 'labels': labels, 'position_ids': position_ids } ``` 通过这种方式能够有效减少不必要的内存占用以及提升整体推理效率[^5]。 --- ### 总结 综合来看，针对 `flash_attn` 无法解析的情况可以从多个角度入手排查原因，包括但不限于核对 GPU 计算能力、补充必要第三方组件、校验编程语言基础设置以及保持核心软件栈处于良好状态等方面逐一落实改进措施。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值