35、GPU架构、概念与编程模型全解析

GPU架构、概念与编程模型全解析

1. GPU架构与性能优化

在优化大量作业的运行时间时，减少并行度往往是更好的选择；而若更关注单个作业的周转时间，增加处理器数量则更为合适。

云计算服务（如谷歌和亚马逊提供的）能让我们根据不同的工作负载匹配各种计算服务器类型和需求：
- 若应用受内存限制，可选用浮点运算与加载比（flops-to-loads ratio）较低且成本较低的GPU。
- 若更关注周转时间，可增加更多的GPU或CPU。
- 若截止日期不那么紧迫，可使用可抢占资源以大幅降低成本。

随着云计算服务使计算成本更加透明，优化应用性能成为首要任务。云计算的优势在于能让我们使用比本地更广泛的硬件，并能根据工作负载匹配硬件。

假设以20个处理器为基础情况，当处理器数量翻倍时，并行效率公式为：
$P_{efficiency} = S/P_{mult} = 80\%$，其中$S$是问题的加速比，$P_{mult}$是处理器倍数（这里为2）。求解加速比可得：
$S = 0.8 × P_{mult} = 0.8 × 2 = 1.6$

再使用加速比方程计算新时间$T_N$：
$S = T_{base}/T_{new}$，这里使用$T_{base}$而非$T_{serial}$。由于添加处理器时并行效率通常会降低，我们需关注效率曲线上此点的关系。求解$T_{new}$可得：
$T_{new} = T_{base}/S = 10/1.6 = 6.25$小时

对于40个处理器的运行时间，可计算总套件运行时间：
总套件运行时间 = $6.25$小时 × $100/