流觞时光

问题：能否在主机端创建CPU多线程，在每个线程里调用设备端核函数的caller函数，进而实现进一步的并行运行。 例如有5张图片，对于每张图片都有N个GPU线程对其进行像素操作，但是此时是逐一对这5张图片处理的，想在主机端创建5个CPU线程，每个线程里进行 传输到设备端–>设备端GPU多线程处理–>结果返回主机端 这一系列操作，实现五张图片同时处理 此方法能否实现： 不能 只存在一个流时(默认的流)，所有调用核函数的指令将被存在一个队列中，依次执行。因此直接使用CPU多线程调用kernel函数不能

CUDA程序的典型模式： ①输入数据从CPU主机端传输到设备端 ②在设备端执行核函数处理数据 ③处理结果传回主机端 GPU的核心数是有限的，因此同一时间能够并行运行的线程数是有限的，但是由于硬件特性，CUDA中的内存复制操作(Host to Device，Device to Host，Device to Device) 与 函数运行计算(核函数计算，主机端的计算)是相互独立的，因此可以通过流操控它们并行运算 CUDA流 表示一个GPU操作队列，其中的操作将按照指定的顺序执行 流对CUDA的加速思想就是： 将

主机内存分为 可分页内存（Pagable） 和 页锁定内存（固定内存Pinned Memory） CPU向GPU传输数据时是通过直接内存访问DMA（Direct Memory Access）传输的 当数据在可分页内存时，系统可能会移动数据，此时将该数据传输给GPU时，需要将可分页内存复制到一块“临时的”页锁定内存，然后再从页锁定内存复制到GPU 因此使用页锁定内存会一定程度上加快数据在GPU与CPU之间的传输速度，甚至会加快一倍 但是，页锁定内存是占用系统的物理内存的，并不能交换到磁盘上，当机器的物理内存比