【并行计算】【《并行程序设计导论》笔记】第二章：并行硬件和并行软件（4107字）

原创 已于 2024-05-11 18:52:51 修改 · 1.8k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#并行计算

于 2024-04-29 11:19:24 首次发布

文章目录


因上努力

个人主页：丷从心·

系列专栏：并行计算

果上随缘

2.1|背景知识

冯·诺依曼结构
  • 主存和 C P U CPU CPU之间的分离称为冯·诺依曼瓶颈

2.2|对冯·诺依曼模型的改进

指令级并行
多发射
  • 多发射处理器通过复制功能单元来同时执行程序中的不同指令
  • 如果功能单元是在编译时调度的，则称该多发射系统使用静态多发射，如果是在运行时间调度的，则称该多发射系统使用动态多发射
  • 一个支持动态多发射的处理器称为超标量
硬件多线程
同步多线程
  • 同步多线程是细粒度多线程的变种，通过允许多个线程同时使用多个功能单元来利用超标量处理器的性能
  • 通过指定优先线程能够在一定程度上减轻线程减速的问题，优先线程是指有多条指令就绪的线程

2.3|并行硬件

SIMD系统
  • 典型的冯·诺依曼系统是单指令流单数据流系统
向量加法
  • 有两个数组 x x x和 y y y，每个都有 n n n个元素，把 y y y中的元素加到 x x x中
for (i = 0;i < n;i++)
    x[i] += y[i]
  • 假如 S I M D SIMD SIMD系统中有 n n n个 A L U ALU ALU，能够将x[i]和y[i]加载到第 i i i个 A L U ALU ALU中，然后让第 i i i个 A L U ALU ALU将x[i]和y[i]相加，最后将结果存储在x[i]中
  • 在经典的 S I M D SIMD SIMD系统中， A L U ALU ALU必须同步操作，即在下一条指令开始执行之前，每个 A L U ALU ALU必须等待广播
向量处理器
向量寄存器
  • 向量寄存器是能够存储由多个操作数组成的向量，并且能够同时对其内容进行操作的寄存器，向量的长度由系统决定
向量指令
  • 只需要一次加载、一次加法和一次存储操作就能完成对长度为vector_length的数据块的操作
交叉存储器
  • 内存系统由多个内存“体”组成，每个内存体能够独立访问
  • 在访问完一个内存体之后，再次访问它之前需要有一个时间延迟，如果向量中的各个元素分布在不同的内存体中，那么在装入 / / /存储连续数据时能够几乎无延迟地访问
步长存储器访问和硬件散射/聚集
  • 程序能够访问向量中固定间隔的元素
  • 散射 / / /聚集是对无规律间隔的数据进行读（聚集）和写（散射）
向量编译器
  • 向量编译器擅长于识别向量化的代码
  • 能识别出不能向量化的循环而且能提供循环为什么不能向量化的原因
可扩展性
  • 向量处理器不能处理不规则的数据结构和其他的并行结构，这对可扩展性是个限制
图形处理单元（GPU）
  • 通过在每个 G P U GPU GPU处理核中引入大量的 A L U ALU ALU来使用 S I M D SIMD SIMD并行
  • 为了避免内存访问带来的延迟， G P U GPU GPU严重依赖硬件多线程
MIMD系统
  • M I M D MIMD
最低0.47元/天 解锁文章
并发与多线程(三) --- 线程同步
weixin_47081743的博客
10-25 344
文章目录一、线程同步是什么？二、Volatile三、信号量同步总结 一、线程同步是什么？ 资源共享的两个原因是资源紧缺和共建需求。线程共享CPU 是从资源紧缺的维度来考虑的，而多线程共享同一变量，通常是从共建需求的维度来考虑的。 在多个线程对同一变量进行写操作时，如果操作没有原子性，就可能产生脏数据。 所谓原子性是指不可分割的一系列操作指令，在执行完毕前不会被任何其他操作中断，要么全部执行，要么全部不执行。如果每个线程的修改都是原子操作，就不存在线程同步问题。有些看似非常简单的操作其实不具备具备原子性..
【并行计算】【《并行程序设计导论》笔记】第一章：为什么要并行计算
丷从心·的博客
04-28 2215
【并行计算】【《并行程序设计导论》笔记】第一章：为什么要并行计算
并行程序设计导论课后答案（英文版含代码）
05-01
并行程序设计导论课后答案，机械工业，中文翻译教材，英文版，讲解详细，含有代码。
第3章 MPI 分布式内存编程 摘录
weixin_47955824的博客
10-21 1973
在消息传递程序中，运行在一个核-内存的程序通常称为进程。两个进程可以通过调用函数来进行通信：一个进程调用发送函数，另一个调用接收函数。 我们要使用消息传递的实现称为消息传递接口(Message - Passing Interface, MPI)。MPI定义了一个可以被程序调用的函数库。 涉及多于两个进程的‘全局’通信函数，这些函数称为集合通信。 涉及编写消息传递程序的基本问题，如数据的分割核分布式内存系统的I/O。 不让每个进程都进行I/O，而是指派其中一个进程来负责输出，而其他进程向它发送要打印的
《并行程序设计导论》读书笔记( chapter1 )
BOTAK
06-17 529
why ? 为什么要编写并行程序与构建并行系统 The answer：单处理器的性能具有瓶颈，内部原因是因为晶体管的密度不可能无限制的增大，外部原因是因为密度增大，处理器的散热就是一个很大的问题，过于高的温度会影响性能。 how ? Two methods：任务并行与数据并行 在这里，用一个简单的例子来说明任务并行与数据并行之间的区别：现在有一个教授P，然后他的手下有4个助教（A,B,C,D），期...
并行计算学习之并行程序设计导论
07-08 952
如何编写并行程序？ 任务并行：将待解决问题所需要执行的各个任务分配到各个核上执行 数据并行：将待解决的问题所需要处理的数据分配给各个核，每个核在分配到的数据集上执行大致相似的操作。 协调过程 通信 负载平衡：每个核被分配到大致相同数目的数据来计算 同步 并行系统的种类 共享内存系统：各个核能够共享访问计算机的内存，理论上每个核能...
【并行计算】【《并行程序设计导论》笔记】第三章：用MPI进行分布式内存编程
丷从心·的博客
04-29 2519
【并行计算】【《并行程序设计导论》笔记】第三章：用MPI进行分布式内存编程
并行程序设计导论笔记1-2章
weixin_43979229的博客
10-24 863
并行程序设计导论笔记 第一章 1.为什么要构建并行系统? 电路晶体管密度过大会使处理器能耗增加，散热的问题使通过继续增快集成电路密度提高处理器性能不再现实，因此集成电路商决定构建多核处理器。 2.为什么要编写并行程序？ 之前的串行程序适合之前的传统处理器，为了充分发掘多核处理器的性能，必须对常见串行结构进行并行化以提高性能。 3.如何编写并行程序？ 基本思想是把任务分配给各个核，主要有两种方法，任务并行和数据并行。 任务并行指的是把各个的任务分配给不同的核，数据并行指的是将待处理的数据分配给各个核进行处理。
MIT算法导论公开课之课程笔记 21.高级课题、并行算法（二）.rar
07-06
通过学习这些笔记，读者可以深化对并行计算的理解，掌握设计和分析并行算法的方法，并具备解决实际问题的能力。在当前的计算环境中，掌握并行算法是提高计算效率和应对大数据挑战的关键技能之一。
并行程序设计导论课后答案_2.7z
11-20
并行程序设计导论课后答案
《并行程序设计导论》-MPI-教程05
E2MCC的博客
07-26 1355
《并行程序设计导论》第三章： #      用MPI进行分布式内存编程-教程05                ###并行归并排序参考答案： /* File: * parallelMerge.c * * Author： * E2MCC * * Discription: * implement merge sort by using parallel program. * ...
并行程序设计导论作业（二）
於菟
11-25 3031
1 当讨论浮点数加法时，我们简单那地假设每个功能单元都花费相同的时间。如果每个取命令与存命令都花费2纳秒，其余的每个操作耗费1纳秒。 a 在上述假设下，每个浮点数加法要耗费多少时间？ b 非流水线1000对浮点数的加法要耗费多少时间？ c 流水线1000对浮点数加法要耗费多少时间？ d 如果操作数/结果存储在不同级的内存层级上，那么取命令与存命令所要耗费的时间可能会差别非常大。假设从一级缓存上去数据/指令要耗费2纳秒，从二级缓存上取数据/指令要耗费5纳秒，从主存取数据/指令要耗费50纳秒。当执行某条指令，取
并行程序设计导论 第二章习题
热门推荐
听枫烨阁的博客
02-12 1万+
2.1 当讨论浮点数加法时，我们简单那地假设每个功能单元都花费相同的时间。如果每个取命令与存命令都花费2纳秒，其余的每个操作耗费1纳秒。 a 在上述假设下，每个浮点数加法要耗费多少时间？ b 非流水线1000对浮点数的加法要耗费多少时间？ c 流水线1000对浮点数加法要耗费多少时间？ d 如果操作数/结果存储在不同级的内存层级上，那么取命令与存命令所要耗费的时间可能会差别非
并行程序设计导论 第一章（下）
olivia12344321的博客
06-06 702
How do we write parallel programs？ 重要概念 数据并行（data-parallelism） Partiton various tasks carried out solving the problem the problem among the cores 每个核都做一样的任务 任务并行（task-parallism） 形象化解释： Cores needs to coordinate（协同） their work communication（通信） one or mor
并行计算程序设计(CUDA C)
於菟
11-23 1万+
ps：后续应该会持续更新，也会把缺失的图片补充完整 课程介绍 课程介绍和概述 课程目标 学习如何编写异构并行计算系统并实现 高性能和能效 功能性和可维护性 跨下一代的可扩展性 跨供应商设备的可移植性 技术 并行编程 API、工具和技术 并行算法的原理和模式 处理器架构特性和约束 异构并行计算简介 目标 了解延迟设备（CPU 内核）和吞吐量设备（GPU 内核）之间的主要区别 了解为什么成功的应用程序越来越多地使用这两种类型的设备 CPU：面向延迟的设计 强大的 ALU – 减少操作延迟
【亲测免费】 并行程序设计导论课后答案
gitblog_09716的博客
09-06 742
并行程序设计导论课后答案 去发现同类优质开源项目:https://gitcode.com/ 资源文件 文件名: 并行程序设计导论课后答案_2.7z 描述: 该资源文件包含了并行程序设计导论课程的课后答案，供学习者参考和复习使用。 使用说明 下载: 点击仓库中的 并行程序设计导论课后答案_2.7z 文件进行下载。 解压: 使用解压工具（如7-Zip、WinRAR等）解压下载的 .7z 文件。 查看...
第4章 Pthreads 进行共享内存编程 摘录
weixin_47955824的博客
11-16 1667
从程序员角度看，共享内存系统的任意处理器核都能访问所有的内存区域。 如果不同的处理器核尝试更新内存区域上同一个位置的数据，那么会导致共享区域的内容无法预测。我们把对共享内存预期进行更新的代码段称为临界区(critical section)。 4.1 进程、线程和Pthreads 大体上，将线程看成是轻量级进程。进程是正在运行(或挂起)的程序的一个实例，除了可执行代码外，它还包括： 栈段 堆段 系统为进程分配的资源描述符，如文件描述符等 ...
《并行计算导论》中利用并行计算思想进行矩阵乘法
最新发布
11-21
<think> 首先，用户的问题是关于《并行计算导论》中利用并行计算思想进行矩阵乘法的内容。用户想查找相关内容，并可能希望得到解释。 从系统级指令中，我需要： - 使用$...$格式表示行内数学表达式。 - 独立公式使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识，如[^1]。 用户提供的引用包括： - [^1]: Linux并行计算.pdf, 并行计算导论(原书第2版) 清晰PDF。描述了书的整体内容。 - [^2]: 并行计算导论目录，包括并行计算介绍、应用等。 - [^3]: 并行计算导论笔记1，提到矩阵乘法的数据分配，如一维分配，每个进程处理A矩阵的n/p行。 - [^4]: MPI并行计算学习笔记3——对等模式下的矩阵向量乘法，详细描述了矩阵向量乘法的并行实现。 用户特别提到了“利用并行计算思想进行矩阵乘法”，所以焦点在矩阵乘法的并行化。 关键引用是[^3]和[^4]： - [^3]说：一维分配，每个进程划分A矩阵的n/p个行，每行有n个元素，访问A矩阵的n^2/p个元素。对于B矩阵，要访问所有行。 - [^4]描述了在MPI中对等模式下的矩阵向量乘法，包括如何分配矩阵行、使用MPI_Scatter和MPI_Gather等。 我需要构建一个清晰的中文回答，解释并行矩阵乘法。 矩阵乘法的基本公式是：如果$A$是m×n矩阵，$B$是n×p矩阵，那么$C = A \times B$，其中$c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj}$。 在并行计算中，常见的策略是数据划分： - 行划分：每个进程处理A矩阵的一部分行。 - 列划分：处理B矩阵的一部分列。 - 块划分：矩阵分成子块。 从引用[^3]，是行划分：每个进程处理A的n/p行。 从引用[^4]，是对等模式下的矩阵向量乘法（即B是向量），但原理可扩展到矩阵乘法。 对于矩阵乘法（不是向量），常见的并行方法是： - 使用1D或2D划分。 - 在MPI中，使用广播、收集等操作。 回答结构： 1. 介绍并行矩阵乘法的概念。 2. 解释数据划分方法，如一维行划分。 3. 描述计算过程。 4. 讨论优化和挑战。 5. 参考引用。 数学表达式： - 行内：如$c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj}$ - 独立公式：如矩阵乘法公式。 生成相关问题：在回答末尾添加相关问题。 引用标识：在描述引用内容后添加[^n]。 现在，构建回答： - 开头：解释并行矩阵乘法在《并行计算导论》中的内容。 - 主体： - 数据划分方法。 - 并行算法描述。 - 使用MPI实现（参考[^4]）。 - 结束：总结。 - 相关问题。 确保使用中文。 </think> ### 《并行计算导论》中基于并行计算思想的矩阵乘法 在《并行计算导论》中，矩阵乘法的并行化是一个核心主题，它利用数据划分和分布式计算来提高大规模矩阵运算的效率。矩阵乘法的标准形式是：给定两个矩阵$A$（大小为$m \times n$）和$B$（大小为$n \times p$），结果矩阵$C$（大小为$m \times p$）的元素定义为： $$c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj}$$ 其中，$i$从1到$m$，$j$从1到$p$。在串行计算中，时间复杂度为$O(mnp)$，对于大型矩阵（如科学计算中的稠密矩阵），这会导致性能瓶颈。并行计算通过将矩阵划分为子块，并在多个处理器上同时计算部分结果来加速运算。书中详细讨论了基于消息传递接口（MPI）的实现，核心思想包括数据划分、任务分配和通信优化[^1][^2]。 #### 并行矩阵乘法的关键方法 1. **数据划分策略**： - **一维行划分**：这是最常见的方法，适用于对等模式（所有进程承担相似任务）。将矩阵$A$按行划分为$p$块（$p$为处理器数量），每个处理器负责$A$的$\frac{n}{p}$行（假设$n$能被$p$整除）。矩阵$B$通常被广播到所有处理器，因为每个$c_{ij}$的计算需要访问$B$的全部列[^3]。每个处理器计算局部结果： - 处理器$i$计算$C_i = A_i \times B$，其中$A_i$是$A$的第$i$块。 - 然后，通过收集操作将局部$C_i$合并为最终$C$。 - **二维块划分**：对于更优的负载平衡，矩阵被划分为$\sqrt{p} \times \sqrt{p}$子块。每个处理器处理一个子块对（$A_{ik}$和$B_{kj}$），计算$C_{ij} = \sum_{k} A_{ik} B_{kj}$。这减少了通信开销，但需要更复杂的同步[^2][^4]。 - 划分策略的选择取决于矩阵大小、处理器数量和内存带宽。例如，在行划分中，每个处理器访问$A$的$\frac{n^2}{p}$个元素和$B$的$n^2$个元素（通过广播），访问次数为$O(\frac{n^2}{p}) + O(n^2)$[^3]。 2. **并行算法实现（基于MPI）**： - 书中使用MPI作为编程模型，实现对等模式下的并行矩阵乘法。核心步骤包括： - **初始化**：所有处理器初始化矩阵数据。主处理器（通常为rank 0）读取输入矩阵$A$和$B$。 - **数据分发**：使用`MPI_Scatter`将$A$的行块分发到各处理器。例如： ```c MPI_Scatter(&A[0][0], rows_per_proc * n, MPI_DOUBLE, &local_A[0][0], rows_per_proc * n, MPI_DOUBLE, 0, MPI_COMM_WORLD); ``` 其中，`rows_per_proc`是$\frac{n}{p}$，确保每个处理器获得连续的内存块[^4]。 - **广播矩阵B**：使用`MPI_Bcast`将整个$B$广播到所有处理器，因为每个局部计算都需要$B$的所有元素。 - **局部计算**：每个处理器计算其$A_i$块与$B$的乘积，得到局部$C_i$。时间复杂度为$O(\frac{m n p}{p}) = O(m n)$（假设$m=n$）。 - **结果收集**：使用`MPI_Gather`将局部$C_i$收集到主处理器： ```c MPI_Gather(&local_C[0][0], rows_per_proc * p, MPI_DOUBLE, &C[0][0], rows_per_proc * p, MPI_DOUBLE, 0, MPI_COMM_WORLD); ``` - 如果矩阵大小不能被$p$整除，需添加填充行（如零行）或使用变长通信函数（如`MPI_Scatterv`）[^4]。 3. **性能分析与优化**： - **通信开销**：行划分的主要瓶颈是广播$B$，通信量为$O(n^2)$，可能成为性能限制。优化方法包括： - 使用树状广播减少延迟。 - 在二维划分中，采用Cannon算法或Fox算法，将通信开销降至$O(n^2 / \sqrt{p})$[^1][^2]。 - **计算负载平衡**：一维划分在处理器数量$p$较大时可能导致负载不均（如果$n$不整除$p$）。书中建议使用动态任务调度或混合并行模型（如结合OpenMP）[^4]。 - **内存使用**：每个处理器只需存储$\frac{n^2}{p}$个元素，显著减少内存需求，适用于分布式系统[^3]。 - 实测加速比接近线性，例如在$p$个处理器上，理想加速为$p$倍，但受通信延迟影响。 #### 应用与挑战 - **应用场景**：并行矩阵乘法广泛用于科学计算（如有限元分析）、机器学习（如神经网络训练）和大数据处理（如推荐系统）[^2]。 - **挑战**：书中强调通信是主要瓶颈，尤其在高速网络缺失的系统中。解决方案包括优化网络拓扑（如使用网格互联）和异步通信[^1][^4]。 总之，《并行计算导论》系统阐述了矩阵乘法的并行化，强调以平台无关的抽象模型设计算法，并通过MPI等标准实现可移植性。实际应用时，需根据问题规模调整划分策略[^1][^2][^3][^4]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值