- 博客(8)
- 问答 (1)
- 收藏
- 关注
原创 通用矩阵乘法优化GEMM
另一个矩阵加速计算的方式就是并行计算,矩阵的乘法是一个很适合并行化的,CPU本来是串行执行程序的,但现代CPU的核心数量已经比较多了,可以使用多线程的方式进行计算,每个CPU核心都有一套独立的寄存器,加上超线程,每个CPU核心有两套寄存器,超线程技术在同一个核心的两个线程间进行线程切换时的开销比较小,正常的线程切换需要将当前线程中的所有寄存器的数据压栈,后在进行线程切换的操作,有两套寄存器的好处就能减小这种开销。矩阵计算常用设备包括CPU,GPU,NPU,FPGA等,在不同的设备上的优化方法也各不相同。
2025-02-08 12:49:41
893
原创 fp32精度转换为半精度
在大模型当中,半精度的数据相当重要,半精度数据使计算速度更快并且更节省存储空间,无论是在内存中还是模型文件,如今大部分的模型预训练以及微调均可使用半精度训练,足以看出半精度数据的地位很重要,本文中将使用C++示例将fp32数据转换为半精度的方法。
2024-12-25 20:25:13
826
原创 ubuntu安装nv显卡驱动
前面的步骤中也可不用ssh连接,直接在tty界面输入用户名和密码登录,但是禁用nouveau之前一定要关闭图形界面,要不然重启后很可能进不去系统。后面就是常规的安装cuda,cudnn的方式,装cuda的时候一定要去掉驱动安装的选项。以下是本人在配置深度学习环境中实践出的安装nv驱动的经验,网上有大量的相关教程,但大部分人的安装还是会出现问题,以下方式本人已经尝试多次,适用于大部分Ubuntu系统安装驱动。不同的内核编译版本需要对应不同的gcc,这个必须要注意。sudo chmod 775 <文件名>
2024-08-06 13:57:43
867
3
无向图的遍历中遇到的问题
2022-11-12
Java:请问这是什么问题
2022-07-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅