【高性能计算】HPC概述

已于 2022-09-14 07:32:36 修改
阅读量3.6k 收藏 9
点赞数 4
分类专栏： 算法集训 文章标签： 网络 系统架构
于 2022-09-14 07:32:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/runofsun/article/details/126634113
版权

文章目录

  👉引言💎

学习的最大理由是想摆脱平庸，早一天就多一份人生的精彩；迟一天就多一天平庸的困扰。
热爱写作，愿意让自己成为更好的人…
…
在这里插入图片描述

铭记于心
🎉✨🎉我唯一知道的，便是我一无所知🎉✨🎉

HPC概述

1 概述

  • HPC是科学和工业创新的基础工具， 为科学研究，商业HPC，数据驱动分析等诸多领域提供计算支持
1.1 系统架构

HPC系统主要由 登录节点，计算节点，与储存系统 三部分组成

在这里插入图片描述

  • 硬件平台：

在这里插入图片描述

  • 软件平台：
1.2 主要特点与需求

大部分HPC是计算需求型(主要提供计算能力),同时更多的也是 内存带宽需求型(要求对内存的高速访问)

在这里插入图片描述

  • 1.2.1 对 CPU的要求

    在这里插入图片描述

    核数/主频 ，内存带宽，内存容量 ,多核扩展性, 软件兼容 ,结果正确性

    更大核数—>更多线程—>更宽向量—>更高带宽

    • 带宽是 通过核数增加 算力的基础,要保证带宽尽可能大,才能多核扩展时提高线性加速比

    • 核扩展与cpu架构相关,网状架构的扩展性更好

  • 1.2.2 对 内存与存储 的要求

    硬件内存结构大概如下所示：

    在这里插入图片描述

    主要需求是 内存容量, 每核内存带宽, 并行存储需求

  • 1.2.3 对 网络传输 的要求

    集群扩展 的消息包 随着集群的规模变大,Message size变小 ,Message number 变多（粒度化）

    • 高带宽低延迟

    • 网卡驱动方面 对于HPC/MPI（针对并行计算机，分布式集群的跨语言通讯协议）通讯的优化

1.3 高性能计算发展的趋势

  • 规模更大（大型高性能科学装置，解决重大的科学研究发现）

  • 负载融合（AI增强）

  • 交付简单（服务上云，远程提供）

1.4 主要业务负载与应用

在这里插入图片描述

  • 生命材料科学

    • 分子动力学

    • 基因测序

    • 分子成像

    • 高能物理

  • 数字内容可视化

  • 能源行业

    • 地震资料建模和处理

    • 油藏模拟

    • 风险管理

    • 高频交易

  • 政府科研类

    • Multipe

  • 制造行业

    • 计算流体

    • 碰撞模拟

    • 电磁分析

    • 结构分析

  • 天气预报

    • 数值天气预报

🌹写在最后💖：
路漫漫其修远兮，吾将上下而求索！伙伴们，再见！🌹🌹🌹在这里插入图片描述

高性能计算（HPC）-一文全面理解高性能计算
发狂的小花的博客
12-28 5275
AI的疯狂发展以及视频、图像、音频、3D数据的迫切需要，导致传统的CPU不能满足这样大算力的计算。由于这些数据的运算多是一些简单的运算，因此需要设计出多个算术运算单元的芯片来应对这种少控制多计算的场景。这是并行计算、高性能计算诞生的重要动力。为了适配这样的场景，设计出了以GPU为核心的并行处理芯片、包括DSP、VPU、DPU、NPU等。本文主要介绍基于这些芯片以及网络、系统引入的高性能计算，比较全面的介绍高性能计算，希望对高性能计算的理解起到一个宏观的作用。🎬：一个全栈工程师的升级之路！
高性能计算(HPC)
热门推荐
QC班长的博客
05-27 1万+
需求的膨胀推动着技术变革，技术的革新进一步丰富着我们的生活，如今大数据、云计算技术已经自身疲惫了。然而跨界竞争和技术融合迫使我们不断换血和补充能量来适应一次次变革。那么在人工智能、虚拟现实、物联网等技术热潮过后，能预测到的下一个技术热点会是什么，高性能计算(HPC)？面对技术和行业融合现状，HPC应该再适合不过了，另外，我也倾向于把HPC看作是一种跟各个行业比较紧密结合的技术。
高性能计算（HPC）概述
繁依Fanyi的博客
05-26 1万+
文章目录什么是高性能计算？ 什么是高性能计算？ 高性能计算（HPC）的含义有很多，感觉最贴切的还是 Oracle中国中说的这句： 高性能计算 (HPC) 是指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能 这么说可能还是有点难懂，用王总的话来说，就是 集中火力干事业！ 一台计算机，我们平时用用 WPS 写写文档，玩玩英雄联盟什么的小游戏可能还很流畅；但是如果想要玩玩 “3A”大作，在我的世界中开个光影，可能会略有卡顿。 这时，有台式机的可能会想换个3090，有雷电3的笔记本可能会想外置一个
HPC系统架构 高性能集群（HPC ）是啥？
yuezhilangniao的博客
05-05 3776
High Performace Computing(简称HPC)系统泛指用于中大规模科学/工程计算的计算机系统。目前的主流架构有SMP、PVP、cc-NUMA、Cluster等几种基础系统架构。
什么是高性能计算(HPC)？
dexunjiaqiang的博客
03-25 759
随着技术的发展和在工程、医学、金融、太空探索等高级领域的应用，人们对高效、可靠和强大的计算机系统的需求激增，这些计算机系统能够以更少的成本完成更多的工作。处理速度、存储和网络功能是计算解决方案的关键方面，而这正是高性能计算 (HPC) 的用武之地。此外，初创企业和小型企业有能力使用基于云的 HPC 运行 HPC 工作负载，因为他们只需为使用的资源付费，并且可以在需要的时间和地点进行扩展。1.强大的搜索——HPC 具有强大的搜索功能，使用户可以轻松地在文件、应用程序和庞大的数据库之间导航。
高性能计算发展概述.pptx
10-09
高性能计算发展概述 高性能计算（High Performance Computing, HPC）是指使用高速计算机和高效算法来解决复杂的计算问题的技术。随着科学技术的发展，高性能计算在各个领域中的应用越来越广泛。 高性能计算的应用...
弹性高性能计算E-HPC.pdf
05-07
### 弹性高性能计算E-HPC知识点解析 #### 一、E-HPC概述 **弹性高性能计算(E-HPC)**是一种基于云计算技术构建的高性能计算服务平台，旨在为用户提供灵活、高效且易于使用的计算环境，满足科学计算、数据分析等场景...
SUSE Linux Enterprise——助力曙光高性能计算（HPC）
03-04
### SUSE Linux Enterprise 助力曙光高性能计算（HPC） #### 概述 在高性能计算（High Performance Computing, HPC）领域，SUSE Linux Enterprise 作为一款强大的企业级 Linux 发行版，在支持高性能计算方面展现出...
HPC高性能计算项目IOZONE测试报告.docx
10-12
### IOZONE测试报告知识点 #### 一、IOZONE概述 **1.1 测试定义** - **Write（写入）**: 测试向...对于高性能计算领域而言，这样的测试至关重要，因为它直接关系到系统能否高效地支持大规模科学计算和数据分析任务。
华南理工大学《高性能计算与云计算》复习资料1
08-03
《高性能计算与云计算》复习资料概述 在计算机科学领域，高性能计算与云计算是两个关键的分支，它们分别涉及大规模并行处理和分布式计算资源的利用。本复习资料中，我们探讨了多种计算模型和架构，如PVP、SMP、MPP...
HPC高性能计算介绍.pdf
04-10
HPC Cluster 以计算为目的，通过多个普通节点的并行计算（Parellel Processing)实现 强大的计算功能
研究院HPC建设方案
02-14
1 某某汽车高性能计算管理平台系统需求 5 1.1 业务需求分析： 5 2 某某汽车 HPC/CAE云计算中心建设目标、策略及步骤 7 3.1 建设目标与策略 7 3.2 建设步骤 8 3 面向高性能计算中心的资源管理、作业调度系统方案 10 3.1 基于应用的场景分析 10 3.1.1 终端用户通过Compute Manager，提交Fluent批处理计算作业 10 3.1.2 终端用户通过Display Manager，提交需要图形节点支持的图形交互程序 13 3.1.3 终端用户通过Compute Manager，在线查看CAE计算结果中的动画 14 3.1.4 终端用户通过Portal启动其他第三方的虚拟桌面，如Ctrix 15 3.2 某某汽车技术中心 HPC云计算平台管理场景 17 3.2.1 HPC云计算平台管理维护 17 3.2.2 HPC云计算平台软、硬件利用情况监控、统计分析 18 4 澳汰尔PBS Works产品介绍 20 4.1 系统逻辑图 20 4.2 系统物理架构图 22 4.4 PBS Professional产品介绍 25 4.4.1 整合计算资源、方便用户使用 25 4.4.2 可靠性、可用性、可维护性（RAS） 26 4.4.3 贯彻企业服务公约管理模式 29 4.4.4 优化计算资源的使用 29 4.4.5 计算资源管理功能 30 4.4.6 作业调度功能 32 4.4.7 Hooks功能 34 4.4.8 网格计算 35 4.4.9 安全认证 35 4.5 PAS(PBS 应用服务) 37 4.6 Compute Manager 40 4.6.1 三员管理 41 4.7 Display Manager 42 4.7.1 Display Manager系统架构 44 4.7.2 Display Manager使用体验 45 4.8 PBS Works定制功能 48 4.8.1 菜单布局：通常将布局分为三个模块：计算管理器、集群状态、管理员工具。如果有其他的模块，我们可以方便地集成在这个框架内（awpf）。菜单模块支持用户访问控制。 48 4.8.2 集群状态监控：统计所有计算节点的运行状态、节点类型、应用程序、物理内存、实际使用内存、内存使用率、节点利用率等信息。磁盘信息和实际CPU利用率，通过数字的颜色来反应使用程度：0%<X<30%（绿色），30%<X<50%（蓝色），50%<X<80%（橙色），80%<X>在线设置或修改节点上绑定的applications 50 4.8.5 管理员工具>>用户统计：用户名称，作业总数，运行作业个数，排队作业个数，申请cpu核数，使用cpu核数，排队cpu核数等信息。申请cpu总资源比，通过数字的颜色来反应使用程度：0%<X<30%（绿色），30%<X<50%（蓝色），50%<X<80%（橙色），80%<X>作业管理：统计作业号、作业名称、用户、软件、节点数、核数、状态、开始时间、优先级等信息。当作业排队状态时，允许修改作业的优先级。另外管理员也可以删除任意作业。 51 4.8.7 管理员工具>>监控作业排队原因 51 4.8.8 管理员工具>>一周作业统计: 统计当天到过去一周内所累积的运行和排队作业个数。 51 4.8.9 管理员工具>>求解器使用情况统计:统计每个求解器提交的作业总数,在运行的作业,请求的cpu,排队cpu,使用cpu等信息。 52 4.8.10 管理员工具>>磁盘统计:通过WEB页面随时了解本地磁盘的使用情况。使用百分率，通过数字的颜色来反应使用程度：0%<X<30%（绿色），30%<X<50%（蓝色），50%<X<80%（橙色），80%<X>项目管理项:管理员可以以项目为单位，设定项目编号、项目名称、项目的开始和结束时间，项目组人员和项目的优先级。当有紧急的项目，管理员可以把项目的优先级提高，并可以把相应的用户加到项目组中，以此提高项目组成员的作业优先级。用户在Web Portal页面提交作业可以选择项目名称，并且只能选择自己所属项目的项目名称。 53 4.8.12 管理员工具>>作业委托管理: 统计当前用户自己所提交的作业总数,包含:作业号,作业名称,具体用户,使用的软件,使用节点数,作业状态等信息,用户可以把自己的一部分作业或所有作业委托给其他用户. 53 4.8.13 管理员工具>> CPU资源份额调整: 统计所有队列下每个用户的软份额限制,硬份额限制(软限制>整体HPC计算资源实时使用统计: 统计当前所有高性能机器集群的计算资源数目,运行状况,存储等使用情况。 54 4.8.15 管理员工具>> WEB版FTP大文件上传: 招标书中明确要求提供基于网页版的FTP上传工具，方便上传大文件。 55 4.8.16 portal用户密码校验: 为了安全保密，当用户在登陆portal的时候，连续5此输入密码错误，系统会冻结用户。直到一段时间后，方可再次登陆。 55 4.9 报表工具PBS Analytics介绍 56 4.9.1 Analytics架构 56 4.9.2 Analytics功能说明 57 4.9.3 Analytics实际案例分析 57 4.10 SAO解决方案 59 4.10.1 SAO架构 60 5 PBS支持仿真软件 61 5.1 CAE领域中支持软件分类及特点 61 5.2 CAE领域中支持软件及介绍 61 5.3 CFD领域中支持软件及介绍 63 5.4 其他领域及自研软件 64 6 和其他作业调度系统的比较优势 65 6.1 Top100超级计算中心占有率对比 65 6.2 Display Manager让用户的仿真整个过程从工作站到了云端 65 6.3 针对大规模计算中心之功能特性 67 6.4 领域知识对比（并有能力帮助HPC中心建立围绕计算的业务能力） 68 7 成功案例 68 7.1 汽车行业用户列表 68 7.2 成功案例-泛亚汽车（通用设计中心） 69 7.3 PBS在中国实施的大规模计算案例 71 7.4 PBS在全球实施的大规模计算案例 72 8 平台架构与软硬件配置建议 72 8.1 硬件平台选型常见误区 72 8.2 cpu架构的选择 73 8.3 计算网络的选择 76 8.4 存储系统的选择 79 8.5 GPU的选择 80 8.6 节点类型的选择 87 8.7 操作系统的选择 87 8.8 并行文件系统的选择 88 8.9 PBS Professional的数据流控制 89 8.10 推荐配置 90 9 硬件常见测试 92 9.1 性能峰值能力测试点 92 9.2 测试压力估算 92 9.2.1 估算结果 92 9.2.1.1. 性能峰值能力测试估算 92 9.3 测试完成准则 93 9.4 测试风险 93 9.5 测试策略 93 9.6 测试用例详细 93 9.6.1 术语 93 9.6.2 性能测试用例描述 94 9.6.2.1. 机群性能测试描述 94 10 Altair介绍 96
浅谈高性能计算(HPC)
weixin_49393016的博客
03-28 4900
高性能计算(HPC)利用超级计算机和并行处理技术，快速完成耗时较长的任务或同时完成多个任务。HPC市场既是一个传统的市场，又是一个新兴的、高速发展的市场。定位高端用户、标杆项目，影响力大、平民化趋势、快速发展。高性能计算的工作原理在高性能计算中，处理信息的两种主要方式为：串行处理，由中央处理器 (CPU) 完成。每个 CPU 核心通常每次只能处理一个任务。CPU 对于运行...
带你了解什么是高性能计算（HPC）
weixin_49393016的博客
07-19 1529
受益于HPC更高的速度处理大量数据的能力，全球正在进入HPC大周期，高性能计算的发展水平已经成为衡量一个国家综合实力和高科技发展水平的重要标志，美国、欧盟、日本、英国都高度重视高性能计算的发展，并在国家层面设有专门机构负责研究、制定高性能计算发展策略，我国也逐渐将高性能计算的发展提升到了国家战略层面。我国高性能计算在宇宙探索、气候模拟、材料研发、工业设计、试验研究等领域发挥着重要的作用，对国防建设...
高性能计算(HPC)的背景和简介
星猿科技的博客
12-24 1629
高性能计算（英语：High Performance Computing，缩写HPC） 是指利用聚集起来的计算能力来处理标准工作站无法完成的数据密集型计算任务。
[HPC入门] 高性能计算 (HPC) 是什么？哪些业务场景需要HPC？
qq_39172059的博客
03-03 1万+
High Performance Computing, HPC是一种技术，它使用并行工作的强大处理器集群，处理海量多维数据集（大数据），并以极高的速度解决复杂问题。不用把HPC理解成一个系统或者超级计算机，就理解成并行计算、集群计算以及网格分布式计算技术就好。HPC 非常适合需要高性能数据分析的各种应用程序，例如高频交易、仿真模拟、计算机辅助设计、机器学习和深度学习等。
HPC系统体系架构
weixin_33762130的博客
04-14 2599
HPC系统体系架构 名词解释 HPC-High Performance Computing or High Performance Clustering COW-Cluster of Workstations NOW-Network of Workstations PoP-Pile of PCs HPS-High Performance Switch MPP-...
一文全面了解HPC高性能计算平台是什么、怎么选型？高性能计算平台CHPC 都能做什么？
最新发布
Foolforuuu的博客
08-01 1515
随着技术的发展和数据量的爆炸性增长，企业面临的挑战日益复杂，对计算能力的需求也在不断增加。这些问题的解决超出了传统计算方法的能力范围，高性能计算（HPC）正是为解决这类问题而生。高性能计算（HPC）是使用由成千上万个处理器核心组成的超级计算机或者计算机集群，来执行复杂的计算任务。这些任务通常涉及大量的数据输入，需要巨大的计算能力和高速的数据处理能力。简单来说，HPC 就像是一群精英运动员，每个都在协同合作，以最快的速度完成赛事。
智能计算之HPC与人工智能方案架构与应用
weixin_42463871的博客
04-07 4244
在处理复杂计算任务场景中，高性能计算扮演者十分重要的角色，本次博客会介绍高性能计算的应用场景，组网架构，并从计算、存储和网络的角度分析高性能计算方案。 什么是HPC HPC是高性能计算（High Performance Computing），高性能计算是专门为大规模并行运算设计的计算系统，往往以集群方式进行部署。 HPC指使用很多处理器（作为单个机器的一部分）或者某一集群中组织的几台计算机（作为单...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想new的出来

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值