
Linux并行计算&HPC高性能计算
文章平均质量分 87
本专栏主要专注发布Linux并行计算&HPC高性能计算相关领域的技术文章,欢迎大家一起学习讨论!
技术瘾君子1573
常言道:授人以鱼不如授人以渔。经过长时间理论与实践的结合,旨在记录分享实用技术经验,从硬件到操作系统再到具体应用,涉及服务器、存储、网络、操作系统、云计算、大数据、容器、人工智能、HPC等众多领域的知识分享,您的关注就是我最大的动力,加油!
展开
-
HPC&AI并行计算集群Slurm作业调度系统快速上手
Slurm 是一个开源、容错、高度可扩展的集群管理和作业调度系统,适用于大型和小型 Linux 集群。Slurm 的操作不需要修改内核,而且相对独立。作为集群工作负载管理器,slurm 有三个关键功能。首先,它在一段时间内为用户分配对资源(计算节点)的独占和/或非独占访问权,以便他们能够执行工作。其次,它提供了一个框架,用于在分配的节点集上启动、执行和监视工作(通常是一个并行作业)。最后,它通过管理挂起的工作队列来仲裁资源争用。原创 2024-09-19 00:00:00 · 1406 阅读 · 0 评论 -
关于ANSYS Fluent在AMD平台服务器上的硬件性能优化建议
本文主要介绍了ANSYS fluent在曙光&宁畅&中科可控服务器上的性能优化原创 2024-10-31 11:25:20 · 2438 阅读 · 0 评论 -
Slurm作业调度系统在容器中的应用
Slurm作业调度系统在容器中的应用原创 2024-09-13 00:00:00 · 1738 阅读 · 0 评论 -
基于国产加速器海光DCU&GPGPU的OpenMP Offload多卡编程实践
随着OpenMP Offload技术的发展,特别是相关的OpenACC技术证明了该方向的显著编程优势以及性能方面劣势的补足,该技术方向已经逐渐脱离了简单的导语编程模式,逐渐具备了跟原生编程技术同样的编程控制力与性能,本文简单的介绍下基于DCU的OpenMP Offload编程经验,特别是在针对多卡计算等场景,给出一个编程示范,并讨论两个技术建议。原创 2024-09-12 00:00:00 · 2374 阅读 · 0 评论 -
nvidia GPU HPL&Linpack性能测试及调优建议
HPL是针对现代并行计算机提出的测试方式。用户在不修改任意测试程序的基础上,可 以调节问题规模大小(矩阵大小)、使用CPU、GPU数目、使用各种优化方法等等来执行该测试程序,以获取最佳的性能。HPL采用高斯消元法求解线性方程组。求解 问题规模为N时,浮点运算次数为(2/3 * N^3-2*N^2)。因此,只要给出问题规模N,测得系统计算时间T,峰值=计算量(2/3 * N^3-2*N^2)/计算时间T,测试结果以浮点运算每秒(Flops)给出。HPL测试结果是TOP500排名的重要依据。衡量计算机性能的原创 2024-09-10 00:00:00 · 4352 阅读 · 5 评论 -
国产加速器海光DCU&GPGPU深算处理器程序开发常见问题
国产加速器海光DCU&GPGPU深算处理器程序开发常见问题原创 2024-09-05 06:30:00 · 2821 阅读 · 0 评论 -
国产加速器海光DCU&GPGPU环境介绍
国产加速器DCU采用ROCm软件栈作为基础支撑。ROCm(Radeon Open Computing Platform)是首个开源的GPU通用计算平台,是一种轻量级、模块化的GPU软件开发环境,可以提供多种开发工具和运行时环境。ROCm拥有丰富的系统关键功能组件支持,可适用于大规模应用程序计算,编译器及程序运行时组件开发。原创 2024-09-03 06:30:00 · 1930 阅读 · 0 评论 -
HPC应用&生命科学领域变异识别软件-deepvariant详细安装使用
CPU版本: DeepVariant是一个基于深度学习的变体调用程序,是一个预训练好的基于人类基因组的tensorflow模型,它接受对齐读取(BAM或CRAM格式),从中生成叠列图像张量,使用卷积神经网络对每个张量进行分类,最后以标准VCF或gVCF文件的形式报告结果。该应用采用docker集成运行环境,使用时不需要复杂的安装,只需要将镜像下载下来,将docker目录与宿主机的目录进行映射即可。 DCU版本: 该软件GPU加速版本原由google公司维护,采用docker构建应用,后端采用原创 2024-09-02 00:00:00 · 1180 阅读 · 0 评论 -
HPC应用&生命科学领域软件bwa详细安装使用教程
BWA是生物信息领域中常用的一款序列比对软件,目前针对BWA的优化主流手段是通过GPU来进行算法加速。bwa-gasal2项目就是基于gasal2的bwa,gasal2是一个基于GPU加速的基因比对库。原创 2024-09-01 00:00:00 · 640 阅读 · 0 评论 -
HPC应用&生命科学领域软件AutoDock-GPU详细安装使用教程
AutoDock-GPU是基于OpenCL的GPU加速版本分子对接软件autodock-4.2.6。可以支持DCU已经其他支持OpenCL的设备,如CPU和Nvidia GPU等。原创 2024-08-31 00:00:00 · 1257 阅读 · 0 评论 -
HPC应用&物理学软件Chroma+QUDA详细安装使用教程
Chroma是美国JeffersonLab联合格点QCD各国开发人员开发的开源格点量子色动力学通用软件包,支持各种胶子作用量和除了手征费米子以外各种费米子作用量的数值模拟。支持MPI,OpenMP, CUDA加速(由QUDA提供)。原创 2024-08-30 00:00:00 · 637 阅读 · 0 评论 -
HPC应用&物理学软件PIConGPU详细安装使用教程
PIConGPU (Particle-in-cell on Graphics Processing Units,图形处理单元中的单元粒子),是用于等离子体和激光等离子体物理学的开源仿真框架。PIConGPU是完全相对的,多核,3D3V单元内粒子(PIC)代码。单元内粒子(Particle-in-Cell)算法是等离子体物理学中的核心工具。根据麦克斯韦方程,通过计算等离子体中电子和离子的运动来描述等离子体的动力学。原创 2024-08-29 00:00:00 · 926 阅读 · 0 评论 -
HPC应用&分子动力学软件NAMD详细安装使用教程
NAMD (Nanoscale Molecular Dynamics) 是一款主流的开源分子动力学模拟软件,由美国伊利诺伊大学香槟分校 (UIUC) 理论与计算生物物理研究组 (TCBG) 和并行程序设计实验室 (PPL) 联合开发,曾获得2002 年Gordon Bell Award和2012年 Sidney Fernbach Award。NAMD是建立在并行编程模型Charm++之上的开源分子动力学模拟软件,可以运行在从个人电脑、工作站直到大规模并行的计算机等各种不同类型的计算设备上。借助Charm++原创 2024-08-28 06:30:00 · 1547 阅读 · 1 评论 -
HPC应用&分子动力学软件OpenMM详细安装使用教程
OpenMM是一款开源的分子动力学模拟软件包。可以作为一款运行模拟的独立应用,也可以作为库在用户的代码中调用。OpenMM为用户提供了高度灵活性(通过自定义力和积分器)、开放性和性能(尤其在GPU上)的结合,是一款非常独特的模拟软件。知名的商业分子动力学模拟软件CHARMM的GPU加速即通过OpenMM的API实现,另外还有自由能软件包YANK也通过OpenMM实现。详见官网:openmm.org原创 2024-08-28 00:00:00 · 874 阅读 · 0 评论 -
国产加速器海光DCU&GPGPU Toolkit环境安装与部署
国产加速器海光DCU&GPGPU Toolkit环境安装与部署原创 2024-08-27 06:30:00 · 5573 阅读 · 4 评论 -
HPC&AI并行计算集群Slurm作业调度系统对通用资源(GRES)的调度
Slurm 支持定义和调度任意通用 RESources 的功能 (GRES)。为特定 GRES 类型启用了其他内置功能, 包括图形处理单元 (GPU)、CUDA 多进程服务 (MPS) 设备,并通过可扩展的插件机制进行分片。原创 2024-08-27 00:00:00 · 2807 阅读 · 0 评论 -
HPC&Linux并行计算CAE常用软件网盘下载链接
本文主要整理了HPC&Linux并行计算CAE常用软件网盘下载链接原创 2024-08-21 11:21:45 · 1092 阅读 · 0 评论 -
国产加速器海光DCU&GPGPU深算处理器异构编程实战(下)
Fortran语言自20世纪50年代诞生至今,一直被广泛应用于计算物理学、计算化学、流体力学、气候预测、有限元分析等计算密集的学科领域。同C/C++语言一样,Fortran语言也是科学/工程计算领域的主流编程语言,使用Fortran语言编写的应用程序运行在世界各地大大小小的计算集群上,为人类的各种研究与创新提供数据支撑。原创 2024-08-26 06:30:00 · 2008 阅读 · 0 评论 -
国产加速器海光DCU&GPGPU深算处理器异构编程实战(中)
在C/C++中使用HIP编程接口编写程序是最主要的DCU程序开发方式,本章将从最简单的并行编程出发,逐步介绍如何开发高效的DCU程序。原创 2024-08-26 00:00:00 · 1641 阅读 · 0 评论 -
国产加速器海光DCU&GPGPU深算处理器异构编程实战(上)
我们也简单概括并比较了CPU和类GPU架构,可以看出CPU和类GPU架构在围绕低延迟和高吞吐量上的架构设计的巨大差异,这种差异必然会导致编程方式上的不同。DCU作为类GPU架构的一种也具有与类GPU相似的特性。因此,我们在详细开展DCU编程介绍之前,首先对DCU系统的硬件架构进行详细的介绍,这样大家在后续章节学习编程和程序优化的时候就会对DCU编程有更深入的理解。本章将会从DCU硬件架构和DCU节点系统架构两个方面开展详细的架构介绍。原创 2024-08-25 06:30:00 · 3544 阅读 · 0 评论 -
HPC应用&生命科学领域&生物信息海光DCU加速库genomeworks
Genomeworks生物信息分析软件是一个开源的基因比对加速库,该项目原生由NVIDIA维护仅支持cuda,目前已经做了DCU适配。该基因比对库利用GPU资源加速基因序列比对过程。目前有两个模块可供使用: 1)cudaaligner 用于双序列的全局比对 2)cudapoa 多序列比对的偏序比对,主要有两个功能:(1)生成公有序列、(2)多序列比对(MSA)的生成由于原项目cudamapper在此版本中还处于测试阶段,所以在该版本中没有对其做DCU适配。 genomeworks不是一款完整意义原创 2024-08-25 00:00:00 · 1666 阅读 · 0 评论 -
HPC应用&NumPy兼容的多维数组GPU加速计算工具库CuPy详细安装与使用
CuPy是一个NumPy兼容的多维数组GPU加速计算工具库,最初是一家日本人工智能公司Preferred Networks为其深度学习框架Chainer开发的GPU后端。Chainer最初使用的是PyCUDA,但由于PyCUDA是为使用python的CUDA用户设计的,并未对深度学习框架中广泛使用的多维数组提供广泛的支持,所以Preferred Networks放弃了PyCUDA,专门开发了CuPy。随后,CuPy不断发展,不仅提供NumPy API兼容的GPU实现,而且也可以像PyCUDA一样编写用户自定原创 2024-08-24 06:30:00 · 962 阅读 · 0 评论 -
HPC应用&石油勘探领域软件SPECFEM3D详细安装使用
SPECFEM3D Cartesian 用于在任何类型的六面体协调网格(结构化或非结构化)中模拟声学(流体)、弹性(固体)、耦合声学/弹性、多孔弹性或地震波传播。例如,它可以对地震后地震波在沉积盆地或任何其他区域地质模型中的传播进行建模。它也可用于非破坏性实验或海洋声学。原创 2024-08-23 00:00:00 · 1452 阅读 · 0 评论 -
HPC应用&生命科学领域软件RELION3.0.7移植与优化
RELION(REgularised LIkelihood OptimisatioN)是一个基于贝叶斯参数估计的统计学算法细化电子冷冻显微镜(cryo-EM)中的(多个)3D重建或2D类平均数),在其正则化似然优化算法中,可以从数据中以迭代的方式学习不同傅里叶分量对确定方向以及对三维重构的贡献的最佳权重。它是由MRC分子生物学实验室的Sjors Scheres组开发的。电子冷冻显微镜(cryo-EM)可以可视化单个蛋白质复合物,直至原子级细节。这些复合物迅速冻结在薄薄的冰层中,可以自由采集其任何功能状态原创 2024-08-22 06:30:00 · 795 阅读 · 0 评论 -
HPC应用&实现performance portability的C++库kokkos详细安装与使用
kokkos是美国Sandia 国家实验室开发的一个号称可以实现performance portability的C++库,它提供一种编程模型,通过在程序中使用kokkos的API,可以让同一程序在不同的计算设备如CPU、GPU、KNL上均达到较高的性能。其主要思想是根据实际使用的计算设备的不同,不仅实现了相应最佳的计算并行方式,而且实现了相应最佳的内存访问方式。kokkos目前提供了包括并行编程模型库kokkos-core、数学核函数库kokkos-kernels、性能分析与排错工具kokkos-too原创 2024-08-19 06:30:00 · 2299 阅读 · 0 评论 -
HPC应用&密码破解工具hashcat详细安装使用教程
hashcat号称是世界上最快的密码破解工具。此前曾有过hashcat-lagacy(仅支持CPU)、cudahashcat以及oclhashcat,本文所述的hashcat是现在已经作为开源软件在github上公开的由OpenCL实现的hashcat,当前最新版本为v6.1.1。支持多种操作系统(Linux, Windows 和 macOS),多种OpenCL运行时库(AMD, Apple, Intel, Nvidia, POCL, ROCM)以及多种计算设备(GPU、CPU、APU)。支持多种破解方原创 2024-08-17 06:30:00 · 1782 阅读 · 0 评论 -
HPC应用&分子动力学软件LAMMPS详细安装使用教程
Large-scale Atomic/Molecular Massively Parallel Simulator (大规模原子/分子并行模拟器,LAMMPS)是一款美国Sandia国家实验室开发的经典分子动力学模拟软件。LAMMPS的设计专注于材料模拟,并且可以高效的运行在并行计算机上。LAMMPS在GNU Public Licence (GPL)许可下免费发布。详见官网:lammps.sandia.gov原创 2024-08-20 00:00:00 · 876 阅读 · 0 评论 -
HPC应用&分子动力学软件HOOMD-blue详细安装使用教程
HOOMD-blue (Highly Optimized Object-oriented Many-particle Dynamics - Blue Edition,高度优化的面向对象多粒子动力学-蓝版)是一款开源的通用粒子模拟工具包,在CPU和GPU上都能高效运行。作为一个Python包,HOOMD-blue提供给用户很大的灵活性以个性化初始化任务,控制模拟变量以及进行就地分析原创 2024-08-20 06:15:00 · 796 阅读 · 0 评论 -
HPC应用&分子动力学软件GROMACS 详细安装使用教程
GROMACS是一款主流的分子动力学模拟软件,主要用于进行经典分子动力学模拟,在生物大分子领域的计算模拟中应用尤其广泛。GROMACS支持几乎所有当前流行的分子模拟软件的算法。主体代码由C和C++编写,并且通过CUDA和OpenCL支持GPU加速,CPU版本可利用AVX等向量化指令集进行加速,并且通过MPI、OpenMP可实现大规模并行计算,整体性能优异。原创 2024-08-17 00:00:00 · 2483 阅读 · 0 评论 -
HPC应用&分子动力学软件DeePMD-kit安装测试
DeePMD-kit简介分子动力学(Molecular dynamics,MD)在物理、化学、生物、和材料科学等领域都有着极为广泛的应用。然而做MD计算模拟却长期面临着模拟精度与效率的困境:基于密度泛函理论(Density functional theory,简称DFT)的第一性原理分子动力学(ab initio molecular dynamics,简称AIMD)精度高,但缺包含着巨大的计算开销(通常与模拟原子数的立方成正比)。AIMD模拟尺度局限在数百个原子以及100皮秒以内。超出上述范围的应用往往只原创 2024-08-16 06:15:00 · 1113 阅读 · 1 评论 -
AI 并行计算集群GPU发生掉卡时如何修改与恢复slurm调度系统中的资产
本文主要介绍使用slurm调度系统的GPU AI并行计算集群节点GPU卡故障时,如何在slurm中剔除&恢复GPU卡资源原创 2024-07-25 00:00:00 · 625 阅读 · 0 评论 -
DDN Luster商业版作为HPC集群并行文件系统配置方法及步骤
本文主要介绍DDN Luster文件系统作为HPC集群的共享文件系统时,详细部署安装步骤原创 2024-07-15 10:30:35 · 1111 阅读 · 0 评论 -
AMD在芯片领域到底有多卷?
在台北举行的2024年国际计算机展开幕之夜,AMD公司CEO Lisa Su发表了主旨演讲,展示了该公司从现在到2027年的CPU和GPU发展路线图。原创 2024-07-11 16:02:27 · 1035 阅读 · 0 评论 -
Linux&HPC并行计算集群安装使用分子动力学软件Amber18
本文主要介绍了Linux&HPC并行计算集群如何安装使用分子动力学软件Amber原创 2024-07-16 13:00:00 · 459 阅读 · 0 评论 -
Gaussian16如何在Linux&HPC并行计算集群上安装并使用?
本文主要介绍Gaussian软件在Linux或HPC并行计算集群上安装与使用,Gaussian是做半经验计算和从头计算使用最广泛的量子化学软件,可以研究分子能量和结构、过渡态的能量和结构、化学键以及反应能量、分子轨道、偶极矩和多极矩、原子电荷和电势、振动频率、红外和拉曼光谱、NMR、极化率和超极化率、热力学性质、反应路径等。原创 2024-07-09 21:30:00 · 1598 阅读 · 2 评论 -
Linux&HPC并行计算编程(三)-MPI程序设计
本文主要介绍MPI基本概念、MPI程序结构、MPI程序的函数、MPI程序通讯、MPI编程示例原创 2024-07-09 12:00:00 · 1133 阅读 · 1 评论 -
Linux&HPC并行计算编程(二)-MPI编译安装与使用
本文主要讲解OpenMPI的安装与使用、Mvapich2的安装与使用、IntelMPI的安装与使用原创 2024-07-09 06:00:00 · 1688 阅读 · 0 评论 -
Linux&HPC并行计算编程(一)-OpenMP概述
本文主要介绍OpenMP发展历史,编程模式等,指导小伙伴了解认识Linux&HPC并行计算编程。原创 2024-07-09 00:00:00 · 1159 阅读 · 0 评论 -
科学计算入门(二)-使用的工具
本文主要介绍科学计算使用到的硬件、软件、集群以及使用集群的规范原创 2024-07-04 08:44:02 · 999 阅读 · 0 评论 -
matlab如何在Linux&HPC集群配置使用pbs和slurm调度系统?
集群中必须提前安装作业调度系统,且软件安装在集群内所有节点都能访问的共享路径下,按照以下说明配置您的MATLAB®Parallel Server™安装,以便使与Slurm、PBS Pro®、OpenPBS、LSF®和TORQUE作业调度系统协同工作。原创 2024-07-04 08:31:14 · 933 阅读 · 0 评论