高性能计算概述

最新推荐文章于 2023-12-31 01:48:24 发布

强壮的派大星

最新推荐文章于 2023-12-31 01:48:24 发布

阅读量546

点赞数

文章标签：性能优化

本文链接：https://blog.youkuaiyun.com/keda_xiaoli/article/details/128086882

版权

本文概述了高性能计算的几种关键体系结构，包括并行向量处理机、对称共享存储多处理机（SMP）、大规模并行处理机（MPP）和分布式共享存储多处理机（DSM）。此外，还讨论了集群技术及其在性能、可靠性、能耗和程序设计上的挑战，如存储墙问题、能耗问题、可靠性问题和并行程序设计的复杂性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

高性能计算概述

高性能计算机体系结构

并行向量处理机（PVP）

在这里插入图片描述

又称数组处理器，是一种实现了直接操作一维数组（向量）指令集的中央处理器（CPU）
对称共享存储多处理机（SMP）

在这里插入图片描述

在均匀存储器访问(UMA)系统中，一个共享存储器可以为所有处理器通过一个互联网络进行访问，就如同一个单处理器访问它的存储器一样。所有处理器对任何存储单元有相同的访问时间。用于UMA中的互联网络可以是单总线、多总线或者是交叉开关。因为对共享存储器的访问是平衡的，故这类系统称为SMP(对称多处理器)系统。每个处理器有相等的机会读/写存储器，也有相同的访问速度。
大规模并行处理机（MPP）
- 大规模并行处理机（Massively Parallel Processor）是由多个由微处理器，局部存储器及网络接口电路构成的节点组成的并行计算体系；节点间以定制的高速网络互联。大规模并行处理机是一种异步的多指令流多数据流，因为它的程序有多个进程，它们分布在各个微处理器上，每个进程有自己独立的地址空间，进程之间以消息传递进行相互通信。
分布共享存储多处理机（DSM）
- 分布式共享存储处理机属于计算机科学的一种机制,可以透过硬件或软件来实作。分散式共享内存主要使用在丛集电脑中，丛集电脑中的每一个网络结点(node)都有非共享的内存空间与共享的内存空间。
  
  该共享内存的位置空间(address space)在所有结点是一致的。简单说，同一时间下在结点A读取0x00001234会和结点B读取0x00001234得到一样的值。
集群（Cluster）

在这里插入图片描述

集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其任务调度则是集群系统中的核心技术。

集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。

并行体系结构发展史

在这里插入图片描述

20年来，提高计算性能的“三驾马车”:提高主频、优化体系结构、提高并行度

主频受功耗的限制难以提升

指令集并行的潜力已经挖尽，现在基于CISC的x86架构由于结构复杂发展受阻，更多研究聚焦于RISC技术。

并行计算面临的重大问题

存储墙问题

在这里插入图片描述

CPU的执行速度远高于访存速度，如果计算中出现大量的内存访问就会降低速度

能耗问题

大型的高性能计算机如果要实现E级系统，需要专门的电站进行供电，并且高能耗还意味着需要制冷系统。
可靠性问题

系统规模增大导致系统固有的可靠性降低，千万亿次系统的平均无故障时间只有8小时左右，并且计算性能提升，故障发生时间显然提前。
大规模并行程序设计问题

1.现在的intel和一些其他公司已经开始对CPU进行异构设计，比如大小核设计，这样的技术势必会增加并行程序开发的复杂度。2.负载不平衡造成的扩展瓶颈。3.容错占用了大量的时间。