2025_NIPS_StarTrail: Concentric Ring Sequence Parallelism for Efficient Near-Infinite-Context Trans

StarTrail 论文总结与核心部分翻译

一、文章主要内容

本文针对Transformer模型在长序列分布式训练中面临的效率、内存和可扩展性三大核心挑战，提出了一种名为StarTrail的近无限上下文训练系统。该系统聚焦于解决环形序列并行（如Ring Attention）的通信低效问题，通过引入额外的并行维度，将GPU分组形成同心子环结构，在几乎不增加额外内存成本的前提下，大幅降低了点对点（P2P）通信量，同时避免了带宽瓶颈。

文章首先分析了现有序列并行方案的局限性：基于注意力头分片的方法（如DeepSpeed Ulysses）受限于注意力头数量，可扩展性不足；基于点对点通信的方法（如Ring Attention）虽支持近无限上下文，但通信负载极高。StarTrail通过“分而治之”的策略，将通信过程拆分为预处理、环形阶段和后处理三个步骤，利用集体通信（all-gather、reduce-scatter）与子环P2P通信结合的方式，实现了通信效率与可扩展性的平衡。

实验部分在NLP（GPT-style模型）和CV（DiT模型）任务、多种硬件环境（Nvidia H100/A100集群）中验证了StarTrail的性能：相比Ring Attention，GPT模型训练效率提升最高达77.12%，DiT模型最高达114.33%；在强扩展和弱扩展场景下均表现更优，且额外内存开销控制在可接受范围（7.9%-30.79%）。

二、创新点

1. 多维度同心环并行结构：引入额外并行参数C（团队大小），将GPU划分为多个团队，每