RWKV-7 “Goose“ with Expressive Dynamic State Evolution

主要内容与创新点

核心架构

• 动态状态演化：通过推广增量规则（delta rule），引入向量值门控和上下文学习率，实现了更灵活的状态更新机制。
• 常数复杂度：保持线性时间和常数内存复杂度，适用于长序列任务。
• 并行训练：支持高效的并行化训练，同时通过状态压缩提升推理效率。

关键创新点

1. 广义增量规则：提出新的状态更新公式，允许向量值衰减和上下文学习率，增强模型表达能力。
2. 状态跟踪能力：理论证明RWKV-7可识别所有正则语言，超越Transformer的TC⁰限制。
3. 多语言性能：在3B参数规模下实现多语言任务SOTA，且训练数据量显著少于同类模型。
4. 开放资源：发布3.1万亿token的多语言数据集RWKV World v3&