一、SMASH
Systems Management Architecture for Server Hardware
服务器硬件的系统管理架构
服务器硬件系统管理架构(SMASH)倡议支持一套规范,包括架构语义、行业标准协议和配置文件,以统一数据中心的管理。通过利用行业标准协议,可以保证网络上的互操作性,并且符合这些标准的产品可以保证这些协议的语法和语义的互操作性。通过创建行业标准配置文件,SMASH 以一致的方式利用了 CIM Schema 的丰富性,使得不同供应商提供的系统可以以类似的方式表示。
在 SMASH 的开发过程中,特别强调了实现轻量级实现的能力,同时保持架构的一致性。这一努力的目标是能够实现全方位的服务器实现,而不牺牲 CIM 传统的丰富性。这些服务器实现范围包括仅软件解决方案和小型固件解决方案。重点在于确保这些实现无论在实现方式、CPU 架构、芯片组解决方案、供应商或操作环境方面都具有互操作性。
1.服务模型
MASH的基本目标是统一通过带外机制和操作系统可用的体验。为了实现这一目标,SMASH包含了一个模型来描述这些术语(带内、带外、服务中、服务外)并将它们与当今的服务器管理联系起来。
1.1 带内管理与带外管理
理解服务模型的一个关键概念是理解带内(In-Band)和带外(Out-of-Band)这两个术语,以及它们在服务器管理中的使用方式。
带内管理依赖于操作系统所使用的关键硬件组件的支持。例如,通过操作系统可用的一般用途网络接口卡(NIC)。
带外管理则利用独立于操作系统的硬件资源和组件。这些资源专用于系统管理,允许在不依赖其状态的情况下管理系统硬件组件。通常,这些资源在操作系统可用时也可用,并且可以与操作系统交互。例如,服务处理器或基板管理控制器。
1.2 服务中与服务外
对操作系统服务状态的依赖性通过“服务中”(In-Service)和“服务外”(Out-of-Service)这两个术语来描述。
服务中管理依赖于与操作系统同时运行并依赖于操作系统的软件组件。这通常通过操作系统内的服务或进程提供。
服务外管理依赖于需要将操作环境置于服务外状态并将系统置于替代管理环境的软件组件。在这种状态下,操作系统不可用。
1.3 组合服务模型
通过将操作系统服务依赖性与管理访问方法(“带内”/“带外”)结合起来,我们可以实现所示的SMASH服务模型矩阵。这个服务模型有助于理解统一服务中/服务外和带内/带外管理体验的含义。该图示应帮助可管理性组件、软件和解决方案的供应商理解SMASH所涵盖的目标和交付内容。服务矩阵中包含了该矩阵部分的解决方案示例。
在图中,横轴表示操作系统依赖性,指的是被管理端点的正常操作系统状态。纵轴表示可管理性访问点的物理位置。注意,服务处理器在术语上等同于基于固件或软件的管理控制器或服务。
2.管理协议
执行系统管理的两种常见范式是使用命令行工具(通过手动调用或脚本驱动)和部署系统管理软件应用程序。SMASH 通过包含命令行协议和编程访问协议来解决这两种管理范式。命令行协议定义了在网络上传输的人类导向文本消息。命令行协议可以叠加在传输客户端之上,以提供用于管理的命令行界面。编程访问协议是一种优化用于软件应用程序之间通信的协议。
SMASH 指定了服务器管理命令行协议 (SM CLP) 和管理协议的 Web 服务 (WS-Man) 作为 MAP 可能支持的管理协议。SM CLP 是一种命令行协议,允许基本的人类用户和脚本驱动的管理。WS-Man 是一种编程访问协议,使系统管理应用程序成为可能。
MAP 可以支持其中一种或两种协议。虽然不是必需的,但预计支持这两种管理协议的 MAP 将通过两种协议公开相同的一组受管理元素。
无论 MAP 支持哪种协议,基本架构和可能选择的配置文件保持不变。
3.模型介绍
模型中的虚线表示外部可见的协议和传输。这些是可管理性访问点 (MAP) 和客户端之间的通信接口,并代表跨网络传输的数据。例如,实线表示语义可见的接口。数据包、传输和接口在外部不可见,但它们是具有自身语义的独立组件这一事实是可见的。需要考虑客户端可注意到的功能影响,以便拥有完整的模型
二、PMCI
Platform Management Communications Infrastructure
平台管理通信基础设施
平台管理通信基础设施 (PMCI) 工作组定义了标准,以解决平台管理子系统组件之间的“盒内”通信接口。该工作组开发了网络控制器旁带接口 (NC-SI)、管理组件传输协议 (MCTP) 和平台级数据模型 (PLDM) 规范,这些规范提供了一个全面、通用的架构,以改进管理子系统组件之间的通信。这些规范使得在操作系统状态独立时(例如系统启动时、操作系统加载之前或操作系统不可用时)能够监控和控制系统。
PMCI 工作组创建了平台内部可管理性标准和技术,这些标准和技术补充了 DMTF 的跨平台标准,如 SPDM 工作组的安全协议和数据模型 (SPDM)、Redfish 论坛的 Redfish API、通用信息模型 (CIM) 配置文件,以及其他 DMTF 小组定义的远程访问协议。
现代企业计算平台中的平台管理子系统由一组相互通信的组件构成,这些组件在平台内执行管理功能。在许多情况下,这些通信接口会根据具体平台、部署环境和组件的不同进行专门适配。
平台管理子系统提供的硬件管理服务包括:
- 平台环境监控功能(例如温度探测、电压监控、风扇转速、硬件错误状态等)
- 控制功能(例如平台电源启停、重置、看门狗定时器等)
- 设备固件更新与功能管理
该子系统通常包含一个或多个智能控制器(微控制器),这些控制器支持访问管理监控和控制功能,并为子系统内的其他管理控制器提供服务。平台管理子系统可通过管理控制器向外呈现,采用分布式管理任务组(DMTF)其他工作组或论坛提供的标准化接口。例如,Redfish API可作为内置于管理控制器的服务提供者实现,从而实现端到端的管理方法。通过Redfish API标准实现外部连接,并结合MCTP、PLDM、NC-SI和MMBI标准进行内部通信,可构建完全符合DMTF标准的平台管理子系统管理体系。
PMCI工作组支持的规范套件(MCTP、PLDM、NC-SI和MMBI)包含架构语义、行业标准协议和平台级数据模型,旨在标准化平台管理子系统组件间的管理相关互操作性通信。这些标准的优势在于其独立性:
- 组件实现无关:不依赖具体硬件或固件实现方式
- 平台状态无关:适用于系统启动阶段、操作系统加载前或不可用状态
- 子系统实现无关:适配不同管理子系统架构设计
该标准化体系有效解决了传统平台管理方案中接口碎片化的问题,为跨厂商设备互操作性和统一管理提供了技术基础。
1.目标
PMCI的核心目标之一是通过标准化协议、接口及平台级数据模型,实现异构平台组件间的互操作通信。如图1所示的平台管理子系统示例,清晰展示了平台内各类组件及其交互通信的典型架构。
该工作组的另一重要目标是实现跨平台统一架构支持,使得相同的语义层、通信协议和接口规范能够适配以下全谱系计算设备:
- 传统服务器系统
- 桌面计算设备
- 移动终端(手机/平板)
- 笔记本电脑
- 刀片式PC集群
- 精简型客户端(Thin Client)
这种跨平台兼容性设计突破了传统管理方案的设备类型限制,通过统一的通信框架实现:
- 语义一致性:不同设备类型采用相同管理指令集
- 协议通用性:MCTP/PLDM等协议支持多种物理介质传输
- 接口标准化:NC-SI等接口规范消除硬件差异影响
该技术路线显著提升了企业混合计算环境下的管理效率,使得从数据中心服务器到边缘计算终端都能通过统一的DMTF标准体系进行监控和维护,有效降低了异构设备管理复杂度和运维成本。
2.标准体系
PMCI工作组定义了四大核心互操作性接口/数据模型标准:
-
管理组件传输协议(MCTP)规范族
- 定义用于平台管理子系统组件间消息传递的通用传输协议
- 支持多物理介质绑定规范(如PCIe、I2C、SMBus等),确保协议适配不同硬件接口
- 实现带内/旁带通信通道的统一抽象
-
平台级数据模型(PLDM)规范族
- 标准化关键管理功能抽象接口,包括:
- 资产清单管理
- 监控与控制操作
- 事件通知机制
- 固件更新流程
- Redfish设备使能(RDE)接口
- 为管理控制器(MC)提供统一的功能访问层
- 标准化关键管理功能抽象接口,包括:
-
网络控制器旁带接口(NC-SI)规范
- 定义管理控制器(MC)与网络控制器(NC)的交互机制,支持:
- 网络设备资产发现
- 外部以太网透传管理
- 事件上报通道
- 配置与统计信息采集
- 定义管理控制器(MC)与网络控制器(NC)的交互机制,支持:
-
内存映射BMC接口(MMBI)规范
- 采用共享内存技术实现主机软件与基板管理控制器(BMC)间的数据包交换
- 提供低延迟、高吞吐量的本地通信通道
3. PMCI架构栈
PMCI工作组通过分层架构组织标准体系,形成以下三层通信基础设施(图示为简化模型):
层级 | 包含标准 | 功能定位 |
---|---|---|
上层协议 | PLDM、NC-SI、MMBI | 管理语义抽象与功能实现层 |
传输层 | MCTP(含多介质绑定规范) | 提供可靠的消息传输服务 |
物理层 | PCIe、I2C、SMBus等物理接口规范 | 硬件级信号传输与电气特性定义 |
该架构通过分层解耦实现:
- 垂直可扩展性:各层标准独立演进,例如传输层可扩展新型物理介质支持
- 横向互操作性:上层协议基于标准化传输服务运行,消除硬件差异影响
- 端到端管理:从硬件信号到管理语义的全栈标准化,支撑DMTF生态系统整合
PCMI全栈
这张架构图完整展示了管理组件传输协议(MCTP)的分层设计理念与技术实现框架,其核心是通过分层解耦支持多场景管理通信需求:
3.1. 物理层(Physical Layer)
作为硬件通信的基础层,支持8类物理接口实现信号级互通:
- 高速接口:PCIe VDM(厂商定义消息)、USB、MMBI(内存映射BMC接口)
- 嵌入式总线:SMBus/I2C、I3C(升级版双线制总线)
- 专用通道:PCC(平台通信通道)、Serial(串口)、KCS(键盘控制器风格接口)
技术价值:通过多介质适配,使MCTP可部署于从低功耗嵌入式设备到高性能服务器的全场景硬件环境。
3.2. 传输层(Transport Layer)
基于**RMII传输架构(Reduced Media Independent Interface)**实现协议无关化传输,关键子层包括:
- 安全传输:集成SPDM(安全协议与数据模型),提供端到端加密与设备身份认证
- 管理协议隧道:支持NC-SI控制通道与透传模式,实现带外管理流量分离
- 行业标准扩展:兼容NVMe-MI(NVMe管理接口)、PCIe-MI等设备管理标准
创新点:通过RBT(基于RMII的传输)统一不同物理介质的报文封装,实现跨硬件接口的透明传输。
3.3. 上层协议(Upper Layer)
平台级数据模型(PLDM)作为核心抽象层,定义8类管理语义:
- 元数据层:消息控制与发现(协议协商)、SMBIOS数据传输(硬件资产描述)
- 运维功能:监控与控制(实时遥测)、BIOS配置(预启动设置)、FRU数据(现场可更换单元信息)
- 生命周期:固件更新(安全OTA)、Redfish设备使能(RDE接口映射)
- 扩展性:OEM特定消息(厂商自定义指令)、CXL管理接口(支持新型互连协议)
3.4. 消息类型架构
右侧消息分类体现MCTP的协议扩展能力:
- 标准消息集:PLDM、NC-SI控制/透传构成基础管理功能
- 安全增强:SPDM加密消息、CXL Fabric管理API(跨设备协同)、Type 3 CCI(计算快速链路控制)
- 生态兼容:通过Vendor Defined Message支持私有协议扩展,同时保持核心协议完整性
系统级价值
- 垂直整合:从电气信号到业务语义的全栈标准化,例如PLDM监控指令可经I2C-MCTP通道穿透不同硬件子系统
- 水平扩展:通过PCIe VDM实现CPU与加速器间的带内管理,或通过NC-SI透传实现BMC对网络控制器的带外管控
- 安全纵深:SPDM为USB等外部接口提供防物理嗅探能力,CXL安全通道保障内存互连场景的管理流量隔离
该架构已成为OpenBMC、Redfish等开源管理方案的基础通信框架,在云服务器、边缘计算设备中实现硬件管理的"一次开发,多平台部署"能力。
4.物理介质层
4.1. 物理介质层架构概览
PMCI标准通过多物理介质绑定规范实现管理通信的硬件层适配,当前支持的介质类型包括:
介质类型 | 技术特性 | 典型应用场景 |
---|---|---|
PCIe VDM | 利用PCIe链路传输带内管理消息(Vendor Defined Message),支持高速通信(≥2.5GT/s) | 服务器CPU与加速卡间带内管理 |
SMBus/I2C | 双线制低速总线(≤1MHz),低功耗设计 | 传感器监控、嵌入式设备管理 |
I3C | 改进型串行总线(≤12.5MHz),兼容I2C并增强传输效率 | 移动设备、IoT终端管理 |
MMBI | 内存映射接口,支持主机与BMC间零拷贝数据交换(延迟<1μs) | 高吞吐量固件更新、实时日志传输 |
USB | 通用串行总线(USB 2.0/3.0物理层),支持热插拔 | 外置管理设备接入(如带外管理卡) |
PCC | 平台通信通道(基于ACPI规范),实现OS与固件层通信 | 操作系统运行时硬件状态监控 |
Serial | 异步串行通信(UART协议),简单可靠 | 调试端口、传统设备管理 |
KCS | 键盘控制器风格接口(IPMI标准定义),基于I/O端口或内存映射 | BMC与主机间基础命令交互 |
4.2. 特殊介质:RBT(基于RMII的传输)
作为NC-SI规范的物理层基础,RBT具有双重协议栈角色:
- 物理层特性:
- 电气标准:遵循IEEE 802.3 RMII(精简媒体独立接口)规范
- 信号速率:支持10/100Mbps双工模式,时钟精度±50ppm
- 引脚定义:7线制接口(TXD[1:0], RXD[1:0], CRS_DV, REF_CLK, RX_ERR)
- 传输层集成:
- 内置链路层帧封装(NC-SI帧格式,含32位CRC校验)
- 支持管理数据与控制数据的通道分离(通过Package ID字段区分)
- 实现自动重传(ARQ)与流控机制(窗口大小可配置)
技术优势:
- 硬件简化:单接口同时承载物理信号与传输协议,降低NC-SI控制器设计复杂度
- 确定性延迟:固定50MHz参考时钟确保时序可预测(抖动<±100ps)
- 向后兼容:可通过RMII-PHY芯片桥接标准以太网物理层
4.3. MCTP的多介质绑定机制
MCTP规范通过**介质抽象层(MDL)**实现跨物理介质的统一传输,核心设计包括:
- 报文适配:
- 定义介质特定头部(如I2C-MCTP包含7位地址字段)
- 动态分片重组(适应不同介质的MTU,如I2C为255字节 vs PCIe VDM为4096字节)
- 服务质量(QoS):
- 优先级标记(3-bit TID字段),支持紧急管理指令抢占
- 介质感知调度(如USB批量传输 vs PCIe VDM的Posted/NP事务)
- 安全扩展:
- 基于SPDM的端到端加密(在传输层实现介质无关的TLS 1.3隧道)
- 物理介质隔离(如MMBI通过IOMMU实现DMA保护)
4.4. 物理层扩展路线图
PMCI工作组正在推进以下新型介质绑定规范的标准化:
- CXL 2.0+管理通道:利用CXL.io链路传输MCTP消息(带宽≥64GT/s)
- Gen-Z控制平面:通过内存语义网络实现大规模集群管理
- 光学旁路通道:基于硅光互连(≤100ns延迟)的带外管理总线
- 5G NR侧行链路:支持移动设备在无基站场景下的点对点管理通信
系统设计启示
-
介质选型策略:
- 高性能场景:优先选择PCIe VDM或MMBI(>10Gbps)
- 低功耗设备:采用I3C或SMBus(静态功耗<1mW)
- 混合环境:通过NC-SI/RBT实现网络化管理拓扑
-
安全加固建议:
- 对USB等外部接口强制启用SPDM双向认证
- 在MMBI中部署内存加密引擎(如Intel SGX/TDX)
-
未来验证设计:
- 在硬件控制器预留GPIO扩展引脚(如预留I3C升级至I4C的引脚兼容性)
- 采用FPGA实现可重配置的介质适配层(支持后期标准升级)
该物理层架构的扩展性已在实际案例中验证:某超大规模云服务商通过PCIe VDM+MCTP实现GPU集群的带内统一管理,将固件更新耗时从小时级缩短至分钟级。
5.传输层
5.1、RBT(基于RMII的传输)协议特性
-
协议定位
- 物理-传输融合架构:集成RMII物理层信号与NC-SI传输协议,形成单一协议栈层
- 确定性通信模型:严格遵循命令/响应范式,IID(实例ID)实现请求-响应精准匹配
- 通道分离机制:
- 控制通道:携带NC-SI管理指令(如链路配置、统计读取)
- 透传通道:转发原始以太网帧至BMC(用于带外管理流量)
-
消息类型
消息类别 传输方向 可靠性保障 典型应用场景 控制命令 MC → NC 带ACK响应机制 网络端口配置、统计查询 事件通知 NC → MC 无响应机制 链路状态变化、错误报警 数据透传 双向 依赖上层协议 远程KVM、固件镜像传输 -
技术限制与优化
- 带宽瓶颈:受限于RMII的100Mbps速率,需通过批量传输优化(如NC-SI包聚合)
- 实时性保障:硬件级IID匹配引擎实现<5μs的响应关联延迟
- 错误恢复:通过超时重传机制(默认500ms)确保命令可靠性
5.2、MCTP协议核心能力
-
分层协议架构
+-----------------------------+ | PLDM/NC-SI/SPDM等上层协议 | +-----------------------------+ | MCTP传输层(基础消息路由) | +-----------------------------+ | PCIe VDM/SMBus/USB等物理绑定 | +-----------------------------+
-
关键协议特性对比
特性 RBT MCTP 协议范围 专为NC-SI网络管理设计 通用平台管理传输标准 消息确认机制 强制ACK(部分事件除外) 可选ACK(Type字段控制) 介质绑定方式 硬编码至NC-SI规范 模块化绑定规范(如MCTP over USB) 拓扑支持 星型拓扑(MC为中心) 支持总线/树状/网状拓扑 安全机制 依赖物理层隔离 支持SPDM安全会话封装 -
MCTP高级功能实现
- 多路复用传输:通过EID(端点ID)字段支持单物理链路上16个逻辑设备寻址
- 流量优先级:3-bit优先级标识实现监控数据(高优先)与固件更新(低优先)的QoS区分
- 跨介质桥接:例如将I2C-MCTP消息转换为PCIe VDM-MCTP,实现异构硬件域穿透
5.3、协议交互场景示例
-
带外管理场景(RBT主导)
-
带内管理场景(MCTP over PCIe VDM)
5.4、系统设计建议
-
协议选择矩阵
场景特征 推荐协议 理由 网络控制器专用管理通道 RBT 硬件集成度高,NC-SI规范强制要求 多类型设备混合管理环境 MCTP 统一传输层可跨越PCIe/I2C/USB等异构介质 安全敏感操作(如固件更新) MCTP+SPDM 支持端到端加密与设备身份认证 低延迟实时控制(如风扇调速) MCTP over MMBI 内存映射实现μs级延迟 -
协议栈优化方向
- 硬件卸载:在智能网卡中部署RBT协议硬核,降低BMC CPU负载
- 动态绑定:开发运行时可切换的MCTP绑定层(如热插拔时自动切換PCIe↔USB介质)
- 混合传输:关键指令通过RBT发送,批量数据走MCTP over PCIe VDM提升吞吐量
该传输层设计已在超融合基础设施中得到验证:某厂商通过RBT管理网络控制器,同时使用MCTP over I3C监控边缘节点的传感器阵列,实现混合架构的统一管理平面。
6.数据层
6.1带内固件更新示例
6.2安全认证示例
7.PLDM核心扩展模块架构
8.NC-SI与MMBI协同设计案例
边缘AI服务器管理架构