AI推理框架
lbai7134
工程师
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
在PyTorch中嵌入自定义CPU/GPU推理算子
自定义一个名为my_gemm的算子,并实现它的CPU实现和GPU实现。使用pybind11将my_gemm注册到PyTorch中。实现my_gemm.cpp和my_gemm.h。实现CPU上的my_gemm。实现GPU上的my_gemm。原创 2025-05-02 07:36:15 · 222 阅读 · 0 评论 -
[自制深度学习推理框架]笔记1 -知识点
引入接口实现接口无法被子类继承的函数:构造函数,析构函数,赋值函数参考。原创 2023-04-03 14:02:35 · 134 阅读 · 0 评论 -
[自制深度学习推理框架]笔记1
在内存中并不连续,容易造成内存的访问,扩容以及修改的不方便(比如卷积的时候cache不命中)类作为数据管理类来实现Tensor类。Tensor类的主要工作是封装。KuiperInfer框架中使用Armadillo里的。,可以简单的认为就是按照BCHW方式保存。其中fcube是float cube。完成padding,fill函数。并提供了方便数据访问的对外接口。Cube与Matrix关系详见。本次笔记包含第一课和第二课。原创 2023-04-03 14:01:20 · 276 阅读 · 0 评论
分享