19、并行计算术语与符号详解-优快云博客

本文链接：https://blog.youkuaiyun.com/week9/article/details/150085173

并行计算术语与符号详解

1. 并行计算术语解释

1.1 基本概念

在并行计算领域，有许多特定的术语和缩写用于描述系统和操作。以下是一些重要术语的解释：
- Align（对齐） ：指数据在内存中的放置方式，其中块地址恰好等于其块地址对块大小取模的结果。
- Architecture（架构） ：处理器或计算机系统的详细规格说明。
- Bandwidth（带宽） ：通常指数据传输速率，单位为比特/秒。过去，该术语指模拟数据可用的频率范围。

1.2 内存相关术语

术语	解释
Block（块）	固定大小的数据，通常是对齐的。
Cache（缓存）	用于存储指令或数据的本地高速内存。
Cache block（缓存块）	最低级（L1）的缓存块通常称为缓存行（16字节），而在更高级别的缓存中，大小可能高达4KB的页面。
Cache coherency（缓存一致性）	确保内存系统对数据有共同的视图。修改后的数据可能只出现在本地缓存中，硬件机制会提供最新版本。
Cache flush（缓存刷新）	将数据写回内存，并将缓存行移除或标记为无效。

1.3 计算相关术语

Branch prediction（分支预测） ：在代码中依赖数据的决策点，通过硬件和软件安排指令，对将采取的分支进行推测性预测。
Burst（突发） ：传输的数据段，通常是一个缓存块。
Fast Fourier Transform（FFT，快速傅里叶变换） ：一种计算y = Wx的算法，其中Wjk = w^jk是n次单位根w的jk次幂，x和y是复数n向量。

1.4 流程图示例

graph TD;
    A[开始] --> B[Fetch数据];
    B --> C{数据在缓存中?};
    C -- 是 --> D[缩短处理流程];
    C -- 否 --> E[从内存获取数据];
    D --> F[使用数据];
    E --> F;
    F --> G[结束];

2. 符号与运算解释

2.1 布尔运算

and（与） ：i and j = 1，如果i = j = 1；否则为0。
or（或） ：布尔或操作。
¬（非） ：布尔补码，按位取反，¬1 = 0，¬0 = 1。
⊕（异或） ：当应用于二进制数据时，是布尔异或；当应用于矩阵时，是直接和。

2.2 矩阵与向量运算

符号	解释
A⁻¹	矩阵A的逆。
A⁻ᵀ	矩阵A的转置。
(x, y)	向量x和y的内积。
	x

2.3 其他符号

∀xi ：表示对于所有的xi。
∃xi ：表示存在一个xi。
ℑz ：复数z的虚部。
ℜz ：复数z的实部。

2.4 流程图示例

graph TD;
    A[a和b的值] --> B{a > b?};
    B -- 是 --> C[a V b = a];
    B -- 否 --> D[a V b = b];
    C --> E[输出结果];
    D --> E;

3. 并行计算模式与算法

3.1 并行计算模式

Multiple instruction, multiple data (MIMD，多指令多数据) ：使用多个CPU，每个CPU处理数据的独立部分，且每个CPU上的机器指令序列可能不同。
Single instruction stream, multiple data streams (SIMD，单指令多数据流) ：通常指向量计算。

3.2 重要算法

算法	解释
Gaussian elimination（高斯消元法）	通过行或列约简来求解线性方程组Ax = b的算法。
Monte Carlo (MC，蒙特卡罗) 模拟	使用随机数生成模型系统可能配置的数学实验。

3.3 流程图示例

graph TD;
    A[开始] --> B[选择并行计算模式];
    B --> C{MIMD?};
    C -- 是 --> D[分配任务给多个CPU];
    C -- 否 --> E{SIMD?};
    E -- 是 --> F[进行向量计算];
    E -- 否 --> G[其他模式处理];
    D --> H[处理数据];
    F --> H;
    G --> H;
    H --> I[结束];

4. 寄存器与缓存策略

4.1 寄存器相关

Floating-point register (FPR，浮点寄存器) ：用于存储浮点数据的寄存器集合中的一个。
General purpose register (GPR，通用寄存器) ：通常用于整数操作的即时存储和检索。
Rename registers（重命名寄存器） ：其传统编号序列被重新排序以匹配指令的编号标签。

4.2 缓存策略

策略	解释
Write back（写回）	数据先写入缓存，直到相应的缓存行再次被修改时才写入内存。
Write through（直写）	修改后的数据在存储到缓存的同时立即写入内存。

4.3 流程图示例

graph TD;
    A[数据修改] --> B{选择缓存策略};
    B --> C{Write back?};
    C -- 是 --> D[写入缓存];
    C -- 否 --> E{Write through?};
    E -- 是 --> F[同时写入缓存和内存];
    E -- 否 --> G[其他策略处理];
    D --> H[等待缓存行修改];
    H --> I[写入内存];
    F --> J[完成];
    I --> J;
    G --> J;

5. 其他相关概念

5.1 性能相关

Speedup（加速比） ：并行化版本与串行版本在相同类型处理器上的程序执行时间或处理速率的比率。
Throughput（吞吐量） ：每个时钟周期并发运行的指令数量。

5.2 其他术语

术语	解释
Latency（延迟）	从操作开始到第一个结果开始到达的时间量。
Pipelining（流水线）	现代计算机允许多个操作数集同时计算的方法。