RWKV-7 论文发布：引入广义 Delta Rule，表达力超越 Transformer

本文链接：https://blog.youkuaiyun.com/rwkvteam/article/details/146390427

RWKV-7 架构论文《RWKV-7 “Goose” with Expressive Dynamic State Evolution》于 2025 年 3 月 18 日正式发布。

通过一系列创新（例如广义 Delta Rule），RWKV-7 在计算效率、任务表现和模型表达力全面超越 Transformer 和过去的 RWKV-6 架构。

在训练数据远低于 Qwen2.5、Llama3.2 等开源模型的前提下，RWKV-7-World 模型的语言建模能力在所有开源 3B 规模模型中达到 SoTA 水平。

通过引入广义 Delta Rule，RWKV-7 使用 2 层即可实现 $NC^1$ 复杂度的 $S_5$ 状态跟踪问题，使用 4 层即可识别所有正则语言，表达力显著超越了 Transformers 的 $TC^0$ 限制。

RWKV-7 架构概述

RWKV-7 的核心机制是引入并优化广义 Delta Rule 作为 RWKV-7 隐藏状态的演化机制（State Evolution）:

Recent RNN architectures

RWKV-7 的广义 Delta Rule 包含多个优化：

向量化门控（Vector-Valued State Gating）：增加向量级的 State Gating 门控机制，使模型在序列建模时更具表现力
向量化学习率（Vector-Valued In-Context Learning Rate）：使 $a_t$ 从标量扩展为向量，使模型能够按通道选择性地替换状态数据，提高灵活性
分离 Delta Rule 的删除和添加机制：RWKV-7 允许不同的通道独立删除和添加状态信息，增强模型对状态信息的操控能力

RWKV-7 架构图概览：

RWKV-7-architecture-overview

时间混合模块（ $w k v$ 演化机制）

RWKV-7 架构中的时间混合（Time Mix）反映了 RWKV-7 的多头矩阵值状态 $w k v$ （Weighted Key Value）的动态演化过程。

递归形式的 $w k v$ 计算公式：

其中 $w_t$ 是“上下文权重衰减”， $a_t$ 是“上下文学习率”（in-context learning rate，ICLR）。

原始的 delta rule 公式在每个时间步移除旧值，移除的程度由标量 $a$ 控制。RWKV-7 将 $a$ 定义为向量，允许每个状态通道有不同的移除量，增强对状态信息的操控能力。

下图是 RWKV-7 的 state 动态更新机制图示。注意图中 4×4 的 state 仅为演示，实际每个小模型的 state 矩阵是 64×64。

illustration-of-state-evolution

通过动态计算更新 state，RWKV-7 可以从上下文动态学习 key 和 value 之间的关系，使用更新后的 state 处理新的输入，得到最准确的输出。

对比 RWKV-6 的架构改进

下图为 RWKV-6 的架构图概览，橙色标记是 RWKV-7 相对 RWKV-6 的主要改动部分：

RWKV-6-架构图

通道混合层（channel mixing）优化

移除 RWKV-6 的 Receptance Gating （ $R$ 门控矩阵 $W_r$ ），改为普通双层 ReLU^2 MLP，减少了计算复杂度：

时间混合层（time mixing）优化

RWKV-6 引入动态数据依赖的 Token-Shift，RWKV-7 为提高训练和推理速度，移除了 Token-Shift 的动态数据依赖，回归 RWKV-4 和 RWKV-5 风格的简单 Token-Shift。

具体设计思路请参考论文附录 F Additional Architecture Discussion

低秩投影（Low-Rank Projection）优化

新增 $a$ 参数（in-context learning rate）及对应的低秩 MLP，新增 $v$ 的残差控制低秩 MLP，将 $g$ 参数变为低秩 MLP。

实验

我们进行了多个实验以评估 RWKV-7 的各项性能，所有的测试均使用 fp32 精度。同时，除了 MMLU 使用 5-shot 外，其他测试均使用 0-shot。

英语及多语言能力测试

RWKV-7 模型基于 LM Evaluation Harness（lm-eval v0.4.3）进行了一系列常见的英语和多语言基准评估，且与前沿开源模型进行了对比。

结果显示，RWKV-7 仅使用前沿模型 (如 Qwen2.5) 的三分之一训练数据，即能在英语能力看齐前沿模型，且多语言能力显著更强。

英语评测结果

多语言评测结果

Uncheatable Eval（无法作弊的压缩率测试）

为了避免数据泄露造成的评估指标失效，我们进行了 Uncheatable Eval —— 使用最新的论文和新闻文章等实时数据，评估开源大语言模型的真实建模能力和泛化能力。

我们使用 2025 年 1 月之后最新数据对所有模型进行测试，结果显示 RWKV-7 在同等参数大小的前沿模型中依然具有强竞争力。

RWKV-7-Paper-Uncheatable-Eval

我们正在训练数据更多的 RWKV7-G1 系列模型，目标是在这个榜单同样超越所有其他前沿模型。

Associative Recall（联想记忆力）

Associative Recall 用于评估模型在给定上下文中回忆起先前遇到的信息的能力。

以下表格是不同权重矩阵大小的 RWKV-7 在不同输入长度和键值对大小的回忆能力，表中数字为具体的百分比，打勾 ✓ 项意味着回忆率大于 99%。

状态维度仅为 8192 时，RWKV-7 就能回忆起【序列长度2048 + 256个键值对】的 72.93% 信息，可见其状态效率极高。

RWKV-7-Paper-MQAR-test

长文本测试

我们以常用的长文本数据集 PG19 作为指标，测试 RWKV 模型在长文本的语言建模能力，loss 越低越好。

在 0.1B Pile 模型的对比测试显示，RWKV-7-Pile 的长文本建模能力显著强于前几代模型（RWKV-4/6）以及 Mamba 1/2 模型。

RWKV-7-Paper-PG19-between-mamba

这里的所有 Pile 模型基于相同的数据集和分词器，因此是在模型架构层面的公平对比。

进一步的实验表明，在长上下文数据进行微调，可进一步增强 RWKV-7 的长上下文能力。

使用 128k 上下文数据微调后的 RWKV-7-2.9B-128k-tuned 模型，在 10k 以上的上下文长度表现比 RWKV-7 base model 显著提升：

RWKV-7-Paper-PG19-loss

状态追踪能力

Group Multiplication 是广受认可的状态追踪能力评估方法，主流测试方法是找出模型在进行群乘法任务（group multiplication task）时超过 95% 准确率所需的最小层数。

以下是 RWKV-7 相较于其他架构的状态追踪能力对比。RWKV-7 最多只需两层就可以追踪很长的状态序列，尽管比经典 RNNs 稍弱，但相较于 Trasnsformer、Mamba 和 S4 均显著更强（它们都需要使用越来越多层的模型才能完成这个任务）：

RWKV-7-Paper-group-multiplication-task

经典 RNN 的状态追踪能力强，但难以并行训练，且存在梯度消失和长文本建模能力缺陷。

VisualRWKV

RWKV-7 也强化了多模态能力，在使用相同视觉编码器的条件下，0.1B 的 VisualRWKV-7 在 VQA GQA 任务的视觉理解能力就超过了 1.6B 的 VisualRWKV-6 模型。

RWKV-7-Paper-Visual-Language

未来工作

未来 RWKV-7 的工作包括，收集更多的数据以训练更大的模型，探索训练思维链推理（Chain-of-Thought Reasoning）模型，测试 DeepSeek 报告中提及的技术（例如 Mixture-of-Experts, Multi-Token Prediction 以及 FP8 Training），以及 RWKV 后续版本的研发。

补充内容

Model Name	L	D	State Size(WKV+ Shift)	Parameters
RWKV7-World3-0.1B	12	768	589824+ 18432	191034624
RWKV7-World3-0.4B	24	1024	1572864+ 49152	450767872
RWKV7-World3-1.5B	24	2048	3145728+ 98304	1527404544
RWKV7-World3-2.9B	32	2560	5242880+ 163840	2947735040