2025_NIPS_From Bytes to Ideas: Language Modeling with Autoregressive U-Nets

一、文章主要内容总结

该研究针对传统语言模型中分词（Tokenization）技术的局限性（如固定粒度、预定义词汇表、孤立嵌入阻碍跨语言迁移等），提出了自回归U-Net（AU-Net） 模型。AU-Net直接处理原始字节（raw bytes），通过自适应多阶段分层结构，动态将字节聚合为单词、单词对乃至4词块，形成多尺度序列表示，无需预定义词汇表和大型嵌入表。

模型核心包含收缩路径（压缩序列，保留细粒度信息）和扩张路径（恢复序列长度，融合高层语义），通过跳跃连接（skip connections）传递信息，深层阶段聚焦长距离语义模式预测，浅层阶段处理拼写等细节。实验表明，在相同预训练预算下，单阶段AU-Net性能与强BPE基线相当，多阶段模型展现出良好的缩放趋势，且在字符级任务和低资源语言迁移中表现更优，同时保持了实用的GPU吞吐量。

二、创新点

1. 自适应多尺度分层结构：支持最多4个端到端嵌入阶段，可自定义分割函数，突破了传统固定池化或浅层分层的限制，动态聚合字节形成多粒度表示。
2. 无界词汇表：直接基于字节运算，避免预定义词汇表和内存密集型嵌入表，实现开放词汇建模且不增加内存占用。
3. 性能与缩放性平衡：在同等计算预算下匹配BPE基线，多阶段模型随计算量增加表现持续提升，且通过新的批大小和学习率公式实现稳定的缩放定律。
4. 实用效率：保持与基线相当的GPU吞吐量，代码集成于Meta Lingua框架，支持高效训练