深度学习名词总结

SPMD

SPMD(Single Program, Multiple Data)是一种并行程序设计的模型,主要思想是使用同一个程序在多个处理器上并行执行,但每个处理器执行程序时处理不同的数据。其主要特点包括:

• 单程序:所有处理器执行的是同一份程序代码,但工作部分通过条件判断等进行分支。
• 多数据:每个处理器处理的数据不同,这样就实现了并行计算。
• 数据并行:数据分布到不同处理器上,计算问题通过数据并行的方式并行处理。
• 同步通信:处理器之间通过同步和通信协调工作,例如barrier同步。

SPMD模式下,同一个程序复制到不同处理器,通过进程/线程ID区分各自的数据。程序员主要编写串行代码,编译器和运行时系统负责生成并行执行代码。

SPMD更适合于数据并行的应用,例如处理大规模矩阵、物理模拟等科学计算。MPI就是一种典型的SPMD模式的并行编程框架。

与SPMD不同,MPMD(Multiple Program, Multiple Data)模型下并行任务可以运行不同的程序。SPMD程序结构更简单,但是MPMD更灵活。

总之,SPMD是并行编程的重要模式,对它的理解有助于编写并行应用程序。

大页内存

GPU使用的大页内存是指CPU主内存中映射给GPU使用的部分,它使用的是系统内存,而不是GPU显存。启用大页内存只是改变了CPU内存的分页机制,并不占用额外的显存。

回调

回调的思想是将一个函数作为参数传递给另一个函数,这样在需要的时候可以在那个函数内调用参数函数。这可以实现异步编程,也允许高度定制和灵活的代码逻辑。

Warp

在英伟达的GPU上，任务的调度最小单元是warp

一个warp以32个线程为一组，故通过8*