44、同构集群 RPC 通信中的专用序列化方案

同构集群 RPC 通信中的专用序列化方案

1. 引言

计算机集群是一种并行和分布式处理系统，由一组相互连接的独立计算机组成，它们协同工作，就像一个单一的集成计算资源。网络组件是分布式系统的重要组成部分，而远程过程调用（RPC）技术是最常用的网络中间层。

不过，RPC 技术最初是为普通网络环境设计的，并非专门针对高速集群网络环境。集群网络具有物理路径短、带宽高、延迟低和可靠性高等显著特点，这使得集群网络与普通网络环境有很大差异。因此，传统 RPC 技术在集群网络中使用时，效率往往较低。

为了简化或修改集群系统上的 RPC 技术，已经开展了很多工作。但大多数工作所基于的 RPC 系统与传统 RPC 有很大不同，这带来了一些问题，如难以理解、使用和移植。本文提出了一种基于传统 RPC 系统的专用序列化方案，该方案可在同构集群系统上运行，并能大幅提升带宽性能。

本文的主要贡献如下：
1. 详细分析了传统 RPC 技术的过程，发现序列化/反序列化操作是 RPC 过程中的主要开销之一。
2. 提出了一种新的简化序列化/反序列化方法，该方法可在同构集群系统上运行，并能获得更高的性能。
3. 在实际的集群系统中对新的简化序列化/反序列化方法进行了详细的性能评估和分析，并得出了结论。

2. 背景和动机

自 RPC 技术应用于集群系统以来，已经有很多工作致力于简化或修改集群系统上的 RPC 技术。例如，Panasas 系统使用特殊的轻量级 RPC 来提供元数据服务器和客户端之间的快速通信，并取得了良好的性能；Lustre 系统实现了一个名为 LNET 的分层软件模块，并在其中集成了专用 RPC，为用户提供了