并行计算与计算机架构

【版权申明】未经博主同意，谢绝转载！（请尊重原创，博主保留追究权）；

本博客的内容来自于：NVIDIA显卡及架构介绍；

学习、合作与交流联系q384660495；

本博客的内容仅供学习与参考，并非营利；

---

一、并行计算其实涉及到俩个不同的技术领域：

计算机架构（硬件）
并行程序设计（软件）

二、并行性

• 指令并行

比方说pthread和openmp的多线程方式

• 数据并行

数据依照线程划分，比方说块划分，周期划分

三、计算机架构

按照指令和数据分类：
SISD
SIMD（常）
MISD
MIMD

根据内存划分：

1. 分布式内存的多节点系统（集群）
2. 共享内存的多处理系统（单个主板）

四、几个度量单位

延迟：指操作从开始到结束所需要的时间，延迟越低越好
带宽：单位时间内处理的数据量
吞吐量：单位时间内成功处理的运算数量，和延迟都是反应计算速度的，一个是单位次数用的时间延迟，一个是单位时间的执行次数，吞吐量。