eloudy的专栏

ubuntu 多版本cuda sdk

安装jax jaxlib gpu tensorflow gpu tensorRT

redhat 9.1 安装 cuda 12.0

cuda sdk 版本 与 显卡驱动版本

cuSolverDn_LinearSolver 注释

sync __shfl_up_sync 的示例

编译 magm

magma的构建系统分析，makefile系统

VS code的基本使用

cuda c++ cmake makefile

cublasCgetrf

fastertransformer nv 提供的inference 示例，基于 cublasLt， nccl gpu通信库

GitHub - fmtlib/fmt: A modern formatting library

一、kernel 源代码kernel 文件名：vectorAddKernel.cu__global__ voidvectorAdd(const float *A, const float *B, float *C, int numElements){ int i = blockDim.x * blockIdx.x + threadIdx.x; if (i < numElements) { C[i] = A[i] + B[i]; }}

AbstractThis document is a reference manual for the LLVM assembly language. LLVM is a Static Single Assignment (SSA) based representation that provides type safety, low-level operations, flexibility, and the capability of representing ‘all’ high-level la

当你在linux下写C/C++代码的时候，是不是会遇到许多编译链接的问题？ 时不时报个glibc,gcc，g++等相关的错误？ 很多时候都无从下手，而且比较混乱。 这也是编译链接过程中经常出现的问题。这篇文章不是去介绍如何编译链接，而是理清编译链接过程中碰到的一些概念和出现的问题。尤其是，libc,glib,glibc,eglibc,libc++,libstdc++,gcc,g++。从libc说起。libc是Linux下原来的标准C库，也就是当初写hello world时包含的头文件#incl

Building LLVM with CMake — LLVM 15.0.0git documentationhttps://llvm.org/docs/CMake.html

cuda toolkits download:CUDA Toolkit Archive | NVIDIA DeveloperPrevious releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, an...

cub项目github网址：GitHub - NVIDIA/cub: Cooperative primitives for CUDA C++.# Clone Thrust and CUB from Github. CUB is located in Thrust's# `dependencies/cub` submodule.git clone --recursive https://github.com/NVIDIA/thrust.gitcd thrust# Create buil

1 lsmod | grep nouveau 2 uname -r 9 sudo cp /etc/apt/sources.list /etc/apt/sources.list.backupLL 11 sudo gedit /etc/apt/sources.list 12 sudo apt-get update 14 sudo apt-get install net-tools 15 ifconfig 18 sudo apt ...

__attribute__ 是 GNU C 规范的一个编译期关键字；话题文档主页：The GNU C Reference Manual - GNU Project - Free Software Foundation在一般的Linux中，在文件 /usr/include/crt/host_defines.h的70多行处有这么一个定义：#define __align__(n) \ __attribute__((aligned(n)))在这个文件的前面几行有如下信息：

虽然叫做洗牌函数，但是效果只是跟真正的洗牌有点像，但还是不一样。扑克牌不可以复制，但这里的shuffle函数很多时候会复制牌值。这个函数具有广播功能，当同一个warp内的其他线程想获得某一个特定线程中的某个局部变量的值时，使用__shfl_sync()。__shfl_sync(0xffffffff, value, 9, 32);//把 laneId == 9线程的 value变量的值， return 广播给其他线程#include <cuda_runtime.h>//#inc

//mat_inv.cu#include <stdio.h>#include <stdlib.h>#include <cublas_v2.h>#include<math.h>#define cudacall(call) \ ...

放入一个能够编译cublas函数的环境中运行：#include <stdio.h>#include <stdlib.h>#include <string.h>/* Includes, cuda */#include <cublas_v2.h>#include <cuda_runtime.h>float* d_Get3DInv(float* L, int n, int J){ cublasHandle_t cu

放入一个cuBLAS sample的文件中替代运行：一个简介的cublasSmatinvBatched 示例：/* Includes, system */#include <stdio.h>#include <stdlib.h>#include <string.h>/* Includes, cuda */#include <cublas_v2.h>#include <cuda_runtime.h>#include..

1. 下载源代码：cuda_matrix_inverse/LabProtocol at master · mlech26l/cuda_matrix_inverse · GitHubMatrix Inversion Project for GPU Computing and Architectures - cuda_matrix_inverse/LabProtocol at master · mlech26l/cuda_matrix_inversehttps://github.com/mlech26l/c

下面我们仅仅引入tiling方法，先分析一下能够减少多少次对全局存储区的访问。当M=N=K=4096时，用第一版的代码，忽略cache的缓存时，需要从全局存储区读取2*(4096^3)个float变量。

C是行主序，A，B是列主序，一维化地存储在数组里，并copy到GPU的全局内存中。一. 设计一个最容易理解的矩阵乘法的CUDA实现一个实现，一说就能让人懂得代码实现，也是一项挺难的任务。尝试实现如下：设置grid是一维即gridDim.y=gridDim.z=1 默认值；gridDim.x=MP的个数，比如RTX 3060含30个MP（即SM），V100含80个MP；于是，在不同的平台里，分别，gridDim.x=30或80；设置block也是一维在 RTX ...

cuda Toolkits中包含了对应的图形驱动，所以只需要安装CUDA，顺便就安装了基本的显卡驱动最好在新笔记本上安装，经常会失败，重装Ubuntu也不怕丢失重要数据。为了保存用户数据，至少把硬盘分为3个区：1. swap 32GB;2. / 100GB; //估计够用，保险起见，我分了300GB给/3. /home 1.5TB; ...

精通SuiteSparse应用与架构01

http://yann.lecun.com/exdb/mnist/

http://supercomputingblog.com/cuda-tutorials/

作者：小熊在线-宁道奇 .标题：一二三四五六七八九十一二三四五六七八九十标题：摩尔的预言 唯有CUDA才是终极的CPU作者：小熊在线-宁道奇关键词：Intel AMD CPU GPU CUDA Pentium 处理器 摩尔 out-of-order 乱序执行 GeForceFX GPGPU Dirichlet Voronoi Shader BrookGPU GFLOPS s

cudaStreamSynchronize vs CudaDeviceSynchronize vs cudaThreadSynchronizeThese are all barriers. Barriers prevent code execution beyond the barrier until some condition is met.cudaDevi