头狼博客

基于tensorRT开发plugin过程

主要说明cuda gemm中使用mma的两个方式

cuda申请过程中首地址对齐问题

cuda编程实战： 用于总汇所有cuda优化和开发相关的知识记录

主要讲解目前主流的一些hash算法和应用场景

perf对一些应用的监控使用记录

用mpirun 并行多个model，在8卡上进行同步推理，增加gpu使用率

调研cublas等cuda库函数的一些底层代码实现逻辑，通过汇编逻辑来看具体实现，推断可能的耗时异常原因

cuda的一些编译问题的记录

包括kernel的一些使用注意事项， launch_bound, __device__, debug排查技巧

可以设置cuda Stream synchorinze时是释放cpu资源还是把持cpu资源；根据官方说明默认当gpu 个数大于cpu的时候，因为cpu紧张所以会yield时间片；cuda的 synchronize等待模式分为： Yield方式， busy waiting方式（spin）， blocking方式。- gpu context切换更加频繁了，应该是block阻塞导致的。- block恢复存在延迟，导致一些空白gpu时间，如下图红色框。采用blocking模式后，nsight观察的现象有几个。

使用cudaHostRegister将已有的地址空间设置为pinned memory。

如何判断地址是device的还是host的？

记录cuda kernel中使用的launch bound的作用和使用方式

记录debug python和C++混合编程时的一些技巧

介绍cuda的底层编程语言ptx的一些使用笔记

讲解主要的linux系统常用的一些调度策略，用于优化复杂应用中的线程调度，对整体性能有很大影响，需要综合考虑

一些cudaMemcpyAsync， 不一定是异步的，比如当host和device之间传输数据的时候，虽然使用异步copy，但是会内含同步，从而导致一些block或spin行为。

本文记录了一下cuda kernel在进行归约时，需要注意idx > size对后续代码的阻断问题

记录cuda kernel中使用atomicfunc时的一些注意事项

【代码】[CUDA编程] cuda graph优化心得。

libtorch是pytorch的C++版本，可以将pytorch的代码尤其自定义算子，通过libtorch迅速实现为C++版本的自定义算子，从而快速的实现模型部署的验证工作；

构建pytorch转onnx的自定义层