31、内核辅助MPI通信对科学应用的影响及容错协议研究

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 100+累计阅读 67平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄4年

关注

原创最新推荐文章于 2026-08-31 09:39:56 发布 67 阅读 AI 写同款· GEO 优化 ›

探索并行计算的新时代：MPI的进展与挑战专栏收录该内容

¥69.90 ¥499.90

42篇文章

订阅专栏

超级会员免费看

内核辅助MPI通信对科学应用的影响及容错协议研究

在高性能计算领域，MPI（Message Passing Interface）通信和容错问题一直是研究的重点。本文将探讨内核辅助MPI通信对科学应用的影响，以及一种用于容错MPI的对数缩放容错协议算法。

内核辅助MPI通信对科学应用的影响

在多核心系统中，传统基于共享内存的MPI通信在核心数量增加和内存层次结构复杂度提高时，难以提供良好的点对点和集体通信性能。而内核辅助的单复制方法，如基于KNEM（Kernel-assisted Network Memory）的方法，具有将内存复制操作卸载到内核的潜力，从而减少内存总线的使用并提高性能。

实验设置

实验平台 ：使用名为IG的48核心AMD NUMA机器，配备128GB内存，运行Linux Red Hat 4.1.2操作系统，使用KNEM（版本0.9.5）内核内存复制模块和O

了解本专栏

订阅专栏解锁全文

超级会员免费看

收录于

当前文章被以下社区和专栏收录：

标签

#高性能计算 #MPI通信 #内核辅助通信

相关推荐

【信息科学与工程学】【运营科学】第二篇 C4信息与通信网络运营 (C4) ——数据中心网络运营04

典型值：λ1∈[−0.02,−0.01], λ2∈[−0.01,0], η1,η3∈[0.1,0.3], η2,η4∈[0.05,0.15]参数：δ1∈[−0.8,−0.3], δ2∈[−0.5,−0.2], δ3∈[−0.4,−0.1], δ4∈[−0.6,−0.2]参数：φ1∈[0.1,0.3], φ2∈[−0.2,−0.05], φ3∈[−0.1,0.1], φ4∈[−0.3,−0.1]参数：α∈[0.3,0.6], β∈[0.2,0.4], γ∈[0.01,0.03]

weixin_49199313的博客 1200

【信息科学与工程学】【数据中心】第十四篇智算中心算法体系规划

每个节点独立计算本地对偶变量的次梯度，通过异步通信更新对偶变量，步长选择采用自适应策略（如ηt=tη0）。：采用L1（内存缓存）、L2（SSD缓存）、L3（磁盘缓存）三级缓存架构，结合LRU/LFU算法实现动态缓存管理。：靠近用户终端（如基站、小区），仅缓存高频访问内容，部署在用户最近的网络边缘，实现"最后一公里"加速。：存储完整内容库，负责内容注入与全局调度，部署在核心数据中心，具备高带宽和高可用性设计。：基于用户IP、运营商、节点负载等实时数据，动态选择最优边缘节点，实现全局负载均衡。

weixin_49199313的博客 827

【信息科学与工程学】【数据科学】数据科学领域第六篇算法设计 01

算法设计

weixin_49199313的博客 1499

【信息科学与工程学】【运营科学】第二篇 C4信息与通信网络运营 (C4) ——数据中心网络运营01

这是运营的物理和逻辑对象。C4.11xx 传输资源：光纤、微波、卫星链路；频谱资源（Sub-6GHz，毫米波）。C4.12xx 节点资源：核心路由器、交换机、基站（gNB）、数据中心服务器。C4.13xx 虚拟化资源：由NFV生成的虚拟网络功能（VNF）、容器、虚拟机和网络切片实例。这是实现智能、灵活运营的核心技术集。C4.21xx 软件定义与虚拟化：软件定义网络 (SDN)：控制平面与数据平面分离，实现集中、可编程的网络控制。网络功能虚拟化 (NFV)：将传统专用硬件设备的功能以软件形式运行在通用硬件上

weixin_49199313的博客 1449

【信息科学与工程学】计算机科学与自动化—第十五篇云计算 11 算法篇01

编号类型领域问题问题的数学分析（含几何学/拓扑学/代数学/数论/集合论/离散数学/概率论/统计学/其他）及数值分析及算法分析及参数列表及参数数值设计C/C++/rust/python代码软件（含编译器）及硬件资源需求（CPU/GPU/内存【NAND/DRAM/HBM/其他】/HBM、HDD、SSD、RAID卡、其他）关联知识1工作负载调度数据中心最小化总完成时间/成本。

weixin_49199313的博客 214

【信息科学与工程学】【数据中心】第七篇智算中心CLOS组网整体设计

区域主要功能网络要求技术选型安全等级可用性要求训练区大规模AI模型训练，分布式计算超高带宽(100G+)，超低延迟(<1ms)，无损网络RoCEv2，PFC，DCQCN，多路径P4(最高)99.99%推理区实时AI推理，模型服务低延迟(<10ms)，高可用，弹性扩展智能负载均衡，服务网格，容器网络P3(高)99.999%公共服务区统一认证，API网关，数据服务多租户隔离，安全防护，弹性带宽VXLAN，EVPN，微隔离P3(高)99.99%存储区高性能存储，数据湖超高带宽，低延迟，高IOPSNVMe-

weixin_49199313的博客 1369

【信息科学与工程学】【数据中心】第十二篇超大规模智算中心跨地域互联与协同架构方案-02

任务分配、路径规划、行为协调与冲突消解算法是构建智能自主系统的基石。任务分配是决策“谁做什么”，追求系统整体效能最优。路径规划是决策“怎么走去哪里”，保障个体移动的安全与效率。行为协调是设计“如何一起干”，确保群体协作的有序与高效。冲突消解则是制定“打架了怎么办”的规则，解决协作过程中的矛盾。这些算法广泛应用于无人机编队飞行、多机器人协同搜索与救援、智能仓储物流（AGV调度）、自动驾驶车队以及工业自动化。

weixin_49199313的博客 758

【信息科学与工程学】计算机科学与自动化——第三十五篇调度理论和调度算法01——资源调度算法

算法逻辑

weixin_49199313的博客 681

【人工智能】【GPU芯片】第一篇 GPU算子——璧韧篇01

GPU作为新兴的高性能计算加速平台，其软件栈设计遵循分层抽象、领域优化、异构融合三大原则。算子类别典型算子名称数学方程式/计算描述应用场景优势劣势标量运算基础算术运算极低延迟，全流水线吞吐量低于向量指令线性代数核心计算单周期融合乘加，高精度需要特定硬件支持向量运算图像处理、SIMD并行4倍吞吐提升数据需对齐内存点积计算，神经网络专用硬件加速仅支持固定长度矩阵运算 A/B: f16 4x4矩阵 C/D: f32 4x4矩阵深度学习训练推理高能效矩阵计算编程模型复杂warp级矩阵运算张量核心编

weixin_49199313的博客 1002

【信息科学与工程学】计算机科学与自动化——第八十四篇 C++分布式软件高并发/高可用算法01

4. 提交：协调者选择提交时间戳(>所有读时间戳)，两阶段提交：a) 写意图预提交到所有参与者，b) 参与者持久化后确认，c) 协调者决定提交，异步清理意图。：客户端请求发送到协调节点，协调节点根据路由转发到主分片所在节点。Span有父子关系。1. 索引文档：客户端发送PUT请求到协调节点，协调节点路由到主分片节点，主分片写入本地，然后并行复制到副本分片，等待确认后响应客户端。3. 搜索：客户端发送搜索请求到协调节点，协调节点广播到所有相关分片，每个分片执行查询，返回结果，协调节点合并、排序、分页后返回。

weixin_49199313的博客 1077

【信息科学与工程学】【数据中心】第三十二篇云数据中心网络拓扑参数全息模型

多维度集成：物理、二维、三维、几何、连接拓扑的有机统一强约束网络：空间、承重、散热、供电、布线等多重物理约束复杂关系网络：互斥、相似、联动、依赖关系交织多目标优化：成本、性能、可靠性、可扩展性的权衡自动化设计：参数化建模，自动化验证，智能化优化实际工程应用中，建议：建立参数化设计模板库实现多约束自动化验证采用分层协同优化策略构建数字化孪生验证环境持续迭代优化设计规则通过系统化的参数管理，可以实现数据中心网络拓扑的科学设计、高效部署和智能运维。多维度参数：地理、物理、拓扑、性能、成本等千余参数。

weixin_49199313的博客 1369

【信息科学与工程学】【数据中心】第九篇超大规模智算中心跨地域互联与协同架构方案01

当连接池为空且无法创建新连接时，异步API允许请求非阻塞地等待，直到有连接被归还或超时，这比同步阻塞线程高效得多。除了有效性检查，还应实现一个后台任务，定期（如每分钟）检查池中连接的健康状态，并关闭那些闲置过久或已失效的连接。池中的连接不是原始的数据库连接或网络套接字，而是经过封装的“池化连接”对象。在高并发场景下，多个线程会同时申请和归还连接，因此存放空闲连接的集合必须是线程安全的。这样，当第一波请求到来时，可以直接使用现有连接，避免临时创建连接带来的延迟。（如空闲、忙碌、检查中、已失效）。

weixin_49199313的博客 899

【信息科学与工程学】【数据中心】第二十三篇 DDC网络-满足大规模训练、推理、存储区网络（Roce2组网）

特征维度具体特征网络影响设计考虑通信模式集体通信为主(All-Reduce/All-Gather)多对多通信模式需要高带宽、低延迟的All-to-All连接流量模式同步、周期性、模式可预测突发带宽需求高需要高效的拥塞控制和流量调度延迟敏感性端到端延迟敏感(μs级)尾延迟影响训练时间需要无损网络、确定性延迟带宽需求持续高带宽(100-400Gbps/节点)网络容量压力大需要高带宽、无阻塞网络扩展规模数千到数万GPU节点可扩展性挑战需要层次化、模块化设计存储访问大块顺序读写为主存储带宽需求高需要高带

weixin_49199313的博客 1880

【信息科学与工程学】计算机科学与自动化——第三百零五篇数据中心 Scale-Up、Scale-Out、Scale-Across 01

临界带宽B_critical满足：V_orig/B_critical = V_orig/(r·B_critical) + V_orig/R_compress + r·V_orig/R_decompress ⇒ 1/B_critical = 1/(r·B_critical) + 1/R_compress + r/R_decompress ⇒ B_critical = (1 - 1/r) / (1/R_compress + r/R_decompress)。T_original中所有数据均经内存总线传输。

weixin_49199313的博客 474

【信息科学与工程学】【数据中心】第二十三篇 DDC网络-满足大规模训练、推理、存储区网络（Roce2组网）-第五篇跨地域互联（公共服务区和存储区）

大规模智算中心跨区域互联

weixin_49199313的博客 1216

【信息科学与工程学】【数据科学】第一百二十二篇大数据产品中的函数与算法01

它通常指。下面按照你给出的表格列💡 说明：下表中的"产品"以开源/主流商业组件为具象载体（Hadoop、Spark、Flink、Kafka、Hive、HBase、Iceberg、Atlas、Ranger、TensorFlow 等），它们共同构成一个完整的大数据产品家族；代码为实现示例，用于说明算法在工程系统中的落地方式。

weixin_49199313的博客 195

【信息科学与工程学】【安全领域】第七十篇负载均衡设备的主要算法01

每个服务器有一个对槽位的偏好排序，调度器（表）需要为每个槽位分配一个服务器，目标是整体上满足所有服务器的偏好（即均匀填充），同时保持稳定性（变化小）。：对于一个新到达的请求，如果将其分配到当前有cj个请求（包括正在服务的）的服务器sj，其期望等待时间为 (cj + 1) / μj。输入：服务器集群S={s1, s2, ..., sn}，权重W={w1, w2, ..., wn}，当前指针i。输出：选中的服务器sj。输入：服务器集群S，各服务器当前活动连接数cj，各服务器预设权重wj。

weixin_49199313的博客 521

【信息科学与工程学】计算机科学与自动化——第一百三十六篇软件及工具06 Vulkan 01

Vulkan 在信创 AI+图形混合场景的多卡协同，是"

weixin_49199313的博客 20

Android真机调试——ADB调试（含华为手机无法找到设备）

本文以Huawei Nova7为例。

lianqi2003的博客 7854

配电变压器测控终端装置设计

配电变压器测控终端装置在电网运行中承担着数据采集、状态监测、故障预警及远程控制的关键任务，其性能直接关系到配电系统的安全性与可靠性。本研究围绕测控终端的硬件电路、软件算法、通信系统及系统优化展开深入分析，并基于实验测试验证系统性能。硬件设计包括模拟量输入电路、电压电流信号变换电路、A/D转换电路、控制与通信电路及系统电源电路，确保信号采集的高精度与系统的稳定性。软件部分涵盖系统控制程序、数据采集与处理程序、通信程序及显示与控制程序，实现数据的实时处理与传输。通信模块结合RS-485、CAN总线及以太网技术，

weixin_44553616的博客 1102

ubuntu18.04安装R——无法连接上 dl.google.com:80 (6.6.6.6)，连接超时&&E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。

安装R的时候，sudo apt update 的时候出现错误：查资料要修改/etc/apt/sources.list.d/google-chrome.list 文件原来是： deb http://dl.google.com/linux/chrome/deb/ stable main 改为： deb [arch=amd64] http://dl.google.com/linux/chrom...

许希律的博客 4347

HALCON 20.11实战：5步搞定工业图像异常检测（附完整代码）

本文提供了一份基于HALCON 20.11的工业图像异常检测实战指南。通过五个核心步骤——环境准备、数据预处理、模型训练、推理解析与工程化部署，详细演示了如何利用深度学习技术，仅使用正常样本快速构建并优化金属表面划痕等缺陷的检测模型，并附有完整可运行的HDevelop代码，助力工程师实现高效、智能的工业视觉质检。

weixin_29243279的博客 139

GEE开发之ERA5（气温、降水、压力、风速等）数据获取和分析

前言：ERA5主要提供DAILY和MONTHLY两大类别数据，其中主要包括气温、降水、压力、风速等。

等待着冬天的风的博客 3万+

[亚信线上教学] AX58100: EtherCAT从站设备仿真功能设计教学

什么情况需要开启EtherCAT从站设备仿真功能呢? 一般来说, 当EtherCAT从站产品,不需要使用额外的微控制器介入,或使用不具备EtherCAT从站通讯协议栈的微控制器一同协作的情况下，就必须开启EtherCAT从站设备仿真功能，这样EtherCAT主站才能够正常设置从站设备的工作状态. 亚信AX58100 EtherCAT从站控制芯片的优点 AX58100 EtherCAT从站控制器, 集成2个百兆以太网Phis, 并支持一些额外的控制接口, 例如脉冲宽度调变, 增量, 霍尔编码器, .

allanchou1的专栏 7422

05 Transformer 到底解决了什么问题

Transformer 是现代大语言模型的底层骨架。本文不推公式，而是从 CNN、RNN/LSTM 的瓶颈讲起，解释 Transformer 如何通过自注意力同时解决长距离依赖和并行训练问题，并说明它为什么能支撑 GPT、BERT 和现代大模型的规模化。

老于的笔记的专栏 245

C语言实现惯性导航初始对准全部核心代码

惯性导航初始对准包括间接粗对准和卡尔曼滤波精对准，其中。为基于卡尔曼滤波的精对准，其中。

十八与她的博客 2283

android 蓝牙通讯demo

android 下蓝牙通讯demo，实现了发现蓝牙，使能蓝牙，通过蓝牙发送消息。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

SIMATIC S7-1200, S7-1500 PID 控制[手册]