45、基于 TCP/IP 网络的存储集群性能分析与优化方案

基于 TCP/IP 网络的存储集群性能分析与优化方案

1. 实验观察

为研究基于 TCP/IP 网络的存储集群性能，搭建了一个由 16 个节点组成的实验平台，其中 8 个为计算节点，8 个为 I/O 节点，由 Lustre 并行文件系统管理。文件数据条带化分布在 I/O 节点上，采用默认的 Lustre 文件条带化设置，条带大小为 64KB，条带因子为 8，条带索引为 0。使用 Iozone 基准测试工具进行三种类型的读取操作：顺序读取、随机读取和反向读取，可指定运行时的活动线程数。

1.1 入流效应（Incast Effect）

增加与 TCP/IP 网络连接的存储集群的 I/O 服务器数量并不一定能提高有效网络带宽。以太网交换机的内置内存有限，例如广泛使用的 HP Procurve 2848 以太网交换机只有 16MB 内存。当传入数据包到达速度过快，缓存无法容纳时，部分数据包会因缓冲区大小限制而被丢弃，导致 TCP 超时和服务器重新传输数据包。在此情况下，服务器在检测到超时并重新传输所有丢弃的数据包之前，无法处理客户端的下一个 I/O 请求。这种网络延迟严重增加、网络链路空闲、系统吞吐量崩溃的最坏情况被称为入流效应。

为观察入流效应对 I/O 吞吐量的影响，在请求大小为 512KB 的客户端上运行 Iozone 基准测试。客户端上的 Iozone 线程访问条带化分布在不同数量（1 - 8 个）I/O 服务器上的文件。结果表明，I/O 吞吐量并未随 I/O 服务器数量的增加而增加，当 I/O 服务器数量从 6 增加到 8 时，吞吐量甚至降低了 15%，这是入流效应的明显迹象。

不过，入流效应并非对所有类型访问模式的工作负载都会发生。