面试：CUDA Tiling 和 CPU tiling 技术详解

目录

一、CUDA Tiling 和 CPU Tiling 技术概述

（一）技术原理

（二）应用场景

（三）优势和劣势

二、Tiling 技术在深度学习中的应用

三、Tiling 技术的缺点

---

一、CUDA Tiling 和 CPU Tiling 技术概述

Tiling（平铺）是一种将大的问题或数据集分解为较小的子问题或子数据集的技术，目的是提高数据局部性和缓存利用率，从而提升程序性能。

（一）技术原理

• CUDA Tiling

  • 在 CUDA 编程中，常见的优化策略包括利用共享内存和循环分块。共享内存可被一个线程块内的所有线程访问，循环分块则将大循环分解为小循环，减少内存访问冲突，提高内存访问局部性。例如在矩阵乘法中，可将其分解为多个子矩阵乘法，然后用多个线程块并行计算，最后合并结果。