
模型能力与成本的行业共识
模型能力需要提升,但训练成本不能无限制增加,这或许是当前AI行业的强烈共识。如今,开发者和模型公司不再只关注“谁家的模型更强”,而是更务实的问题:“同样多的GPU、同样的训练时间,能否进行更多有效实验,处理更多有效数据,获得更好的loss和下游指标?”
TST方法的提出与效果
凭借Hermes Agent(140K Star)迅速走红的Nous Research团队,刚提出一种Token叠加训练方法——Token Superposition Training(TST),有望将大模型的预训练成本降低一个量级。目前,相关帖子浏览量已突破41万。在论文《Efficient Pre - Training with Token Superposition》中,一组百亿参数MoE实验(Qwen3 - like 10B - A1B MoE)效果显著:baseline训练1.05T tokens消耗12311 B200 - hours;而TST训练2T tokens,仅消耗4768 B200 - hours,约为baseline的38.7%;同时,final loss从2.252降至2.236,HellaSwag、ARC - E、ARC - C、MMLU等0 - shot评测同步提升。也就是说,TST用约四成GPU时间,就取得了更低的loss和更好的下游指标,相当于在相同最终损失下将预训练时间压缩到原来的40%,提速约2.5倍。
Nous Research与DeepSeek的对比
如果说超越龙虾(OpenClaw)、登顶全球OpenRouter的Hermes Agent,证明了Nous Research团队既擅长训练模型,又能通过Agent将模型能力发挥到极致;那么最新提出的TST,则将关注点从“模型怎么用”拉回到能力源头,直击预训练本身。将Nous Research与DeepSeek对标,不仅因为这支美国团队长期坚守开源阵营,更因为二者降本路线不同。DS代表系统级重构,通过MoE、MLA、稀疏化与并行优化等系统级工程挖掘算力。但效率提升并非没有代价,工程复杂度会在其他方面体现。而NR则重写预训练早期的学习路径,不改变架构,从模型学习token的方式本身入手,更易实施。
TST:让模型先“粗读”,再“精读”
要理解TST,需回到预训练最基础的动作——next - token prediction(下一个词元的预测)。标准训练中,模型根据前面的token预测下一个token,这种机制简单且强大,过去几年主流LLM大多基于此范式构建。但TST提出疑问:模型预训练初期是否有必要逐token精读?NR认为不一定,他们将预训练分为两个阶段。第一阶段是superposition phase(“词元叠加阶段”)。训练前期,模型不再逐个读取token,而是将连续多个token组合成一个bag。例如bag size为8,就把连续8个token视为一组。输入侧,模型将这组token的embedding(“向量表示”)求平均,得到一个压缩后的superposed token(“叠加词元”);输出侧,模型不再预测下一个单独token,而是预测下一组token中会出现哪些token。第二阶段是recovery phase(“恢复阶段”)。训练到一定比例后,移除TST,模型回到标准next - token prediction。即后半程按普通LLM方式训练,将前期“粗粒度学习”的表示转化为可生成、可部署的自回归模型形态。论文称TST为“即插即用式预训练方法”,关键在于它无需修改并行策略、优化器、tokenizer、训练数据或模型架构,只改变训练早期的输入粒度和监督目标。这与很多训练提效方案不同,TST只改变训练过程,不改变推理模型。目前很多方法优化训练端会影响推理,如更换tokenizer需重新兼容生态,修改模型结构要适配部署链路,改变注意力或推理机制会影响线上服务。但TST将复杂度留在训练阶段,最终交付普通LLM。当然,只用TST训练不够。论文指出,若模型全程使用TST,会输出多个未来token的混合概率,生成结果会混乱。所以TST后期需切换回标准自回归训练,它更适合作为“阶段化训练策略”,而非next - token prediction的替代品。直白地说,TST就像让模型在预训练早期先“粗读”,学习局部语义、词汇共现和粗粒度分布,建立基础表示后,再进行逐token的标准自回归训练,提升生成能力和token级精度,即训练时压缩token,推理时仍是普通LLM。
为什么能省GPU?每一步都吃进更多文本
TST提速并非偶然,其核心是资源取舍,用更粗的token表示换取更高的数据吞吐。这里的数据吞吐对应论文中的data throughput per FLOPs,可理解为“单位计算量能处理多少原始文本”。即不是GPU变快,而是相同计算量下,模型能处理更多文本。标准训练中,模型每个位置处理一个token,序列长度为L,Transformer就要处理L个表示。但在TST的superposition phase,连续s个token合成一个superposed token,模型内部处理的序列长度变短,但每个位置对应的原始文本增多。因为模型基于更粗粒度的表示计算,相同FLOPs下可处理s倍的数据token。传统预训练像逐字精读,TST早期训练则像快速浏览段落,把握局部主题、词汇共现和语义分布,建立基础表示后再逐字精读。这种“粗读”有代价,会丢失bag内的词序信息,所以不能全程使用。但在模型接触语言统计结构初期,低分辨率输入高效且够用。论文将此定义为“由粗到细”的策略,先让模型在简单、高吞吐的分布中学习粗粒度统计结构,再恢复全分辨率语言建模。这与当前主流效率路线不同:MoE让每个token少激活参数;稀疏注意力让每个token少看位置;MTP(Multi - Token Prediction,多token预测)让每个位置多预测几个未来token;而TST让模型在训练早期改变token粒度学习。它不缩小模型,也不直接加快推理,而是让预训练早期每一步更有价值。这对开发者很重要,预训练是不断试错的过程,早期训练快速进入有效区间,就能更早验证数据配方、超参设置等实验。TST节省的不仅是一次训练的GPU小时,更是整个实验周期的试错成本。
最大收益来自百亿参数模型
论文不仅进行小模型实验,还在270M、600M、3B稠密模型,以及10B - A1B MoE上验证。这里的10B - A1B MoE是总参数约100亿、每token激活约10亿参数的MoE模型,是收益最大的受试模型。也就是说,TST处理了更多数据token,但用更少GPU时间取得更好结果。论文指出,相同loss口径下,TST提速约2.5倍,这足以吸引开发者。因为模型训练中,成本高的往往不是一次成功训练,而是成功前的试错。一次实验少用一半以上GPU时间,意味着相同预算下可进行更多数据配方、超参和模型尺度的验证。论文还进行多组小规模超参数扫描实验(sweep),观察不同bag size和superposition step ratio的影响。最终作者认为,合理范围内,TST对超参选择较稳健,bag size在4到8,superposition训练步数比例在0.2到0.4时,表现较好。另外,TST并非单一机制起作用。论文进行输入侧、输出侧和完整TST的消融实验,输入侧和输出侧单独使用都优于baseline,但完整TST效果最佳。作者指出,TST是两个机制叠加:输入侧改变输入粒度和单位信息的FLOPs成本;输出侧改变预测目标与梯度信号。这套机制的意义在于,输入侧在训练早期为模型提供低分辨率视野,使其以低成本接触更多文本;输出侧将监督信号从“下一个token是什么”变为“接下来这一小段大概会出现哪些token”,前者提高吞吐,后者提高监督密度。这也是TST和MTP看似相似但本质不同的原因。MTP是在同一位置额外预测多个未来token,TST则将输入和输出改为更粗粒度的局部窗口,一个增加监督题目,一个改变学习分辨率。
训练降本开始转向学习路径优化
TST的亮点不在于设计复杂新架构,而在于提醒大家:训练降本不必只关注模型结构。过去降本主要依靠加卡、改架构、优化并行、进行蒸馏等系统级操作,小团队难以承受。但TST提供了更轻松的方法,只调整预训练早期的学习路径。这意味着相同GPU预算可进行更多配方测试,1B到10B级垂直模型的试错成本将明显降低。对于只想训练适用行业模型的中小团队,这比追求前沿模型更务实。当然,TST并非免费午餐。它本质是“用数据吞吐换GPU时间”,算力受限的团队适用;但数据不足的团队,TST可能放大数据短板。不过,这并不影响其方向价值。TST重新提出一个被忽视的问题:模型学习语言的顺序本身可能是提升效率的关键。当模型成本增加,有价值的创新不仅是做大模型,更要让模型更会学习,让每一步训练更有价值。
650



被折叠的 条评论
为什么被折叠?



