MBHT：多行为超图增强Transformer序列推荐

一、论文概览与研究动机

1.1 为什么要研究多行为序列推荐？

传统序列推荐常把所有交互简化成一个事件：“用户与物品发生了交互”。但真实电商链路更像：

浏览 → 收藏 / 加购 → 购买

这些行为不是等价信号。浏览可能只是随手点开，收藏表示持续兴趣，加购往往离购买更近；而且不同用户的行为习惯不同，有人“先收藏后购买”，也有人大量加购却很少下单。因此，模型既要识别行为类型，也要知道这些行为在时间序列中的位置和依赖。

论文认为现有方法主要有两点不足：

1. 动态的、行为感知的物品转移难以建模。 用户兴趣可能呈现短期、周期性和较长期模式，仅使用单一时间粒度的注意力容易漏掉其中一部分。
2. 个性化的全局多行为依赖难以建模。 多行为关系不仅是相邻两项之间的二元关系，还可能是跨越很长时间的三元、四元乃至更高阶关系；普通图的一条边只能直接连接两个节点，而超边可以同时连接多个节点。
   

图 1：同一序列中既存在相邻物品的短期相关，也存在跨较远位置的长程相关。论文示例显示，MBHT 相比 BERT4Rec 能学习到更完整的行为感知依赖。来源于论文 Figure 1。

1.2 问题定义

对用户 $u_i$，按时间排列的行为感知交互序列记为：

$$S_i=[(v_{i,1},b_{i,1}),\dots ,(v_{i,j},b_{i,j}),\dots ,(v_{i,J},b_{i,J})],$$

其中 $v_{i,j}$ 是第 $j$ 个物品，$b_{i,j}$ 是对应的行为类型，$J$ 为序列长度。行为被划分为：

• 目标行为：模型真正要预测的行为，论文实验中是购买（purchase）；
• 辅助行为：浏览（page view）、收藏（favorite）、加购（cart）等，为购买意图提供上下文。

任务目标是：给定用户截至当前位置的多行为序列，预测下一次目标行为对应的物品。

二、MBHT 模型：多尺度序列建模与个性化超图学习

2.1 总体思路

MBHT 有三条主线：

1. 序列视图：多尺度 Transformer 从细粒度到粗粒度编码短期行为转移；
2. 超图视图：把语义相似物品和同一物品上的多类型行为组织成超边，捕捉个性化的全局高阶依赖；
3. 跨视图融合：学习序列表示与超图表示各自的重要程度，再预测被遮蔽的目标物品。

它不是简单地“Transformer 后面接一个图网络”，而是让两种结构承担互补职责：Transformer 擅长顺序和局部动态，超图擅长长程与高阶关系。

2.2 多尺度行为感知 Transformer

图 2：行为感知输入、低秩投影与多尺度模式融合局部放大图，截取自论文 Figure 2(a)(b)。

（1）输入表示：同时注入物品、位置与行为

第 $j$ 个位置的输入表示为：

$${\mathbf{h}}_j={\mathbf{e}}_j\oplus {\mathbf{p}}_j\oplus {\mathbf{b}}_j,$$

其中 ${\mathbf{e}}_j$、${\mathbf{p}}_j$、${\mathbf{b}}_j$ 分别表示物品嵌入、位置嵌入和行为类型嵌入，$\oplus$ 表示逐元素相加。行为嵌入使模型能够区分“看过某商品”和“购买过某商品”。

（2）低秩自注意力：降低长序列的计算负担

标准注意力需要构造 $J\times J$ 的矩阵，复杂度随序列长度平方增长。MBHT 借鉴低秩投影，将 Key、Value 的长度维压缩到 $J/C$：

$$\hat{\mathbf{H}}=\mathrm{softmax}\left(\frac{\mathbf{H}{\mathbf{W}}^Q(\mathbf{EH}{\mathbf{W}}^K{)}^{\top }}{\sqrt{d}}\right)\mathbf{FH}{\mathbf{W}}^V,$$

其中 $\mathbf{E},\mathbf{F}$ 是可学习的内容映射矩阵，$C$ 是低秩投影尺度。直观地说，模型不再让每个位置和全部原始位置逐一比较，而是先把序列压缩成若干“内容通道”。

（3）多尺度聚合：同时看局部与较长周期

对于尺度 $p$，每连续 $p$ 个交互通过平均池化聚合：

$${\Gamma }_p=\left[\eta ({\mathbf{h}}_1,\dots ,{\mathbf{h}}_p);\dots ;\eta ({\mathbf{h}}_{J-p+1},\dots ,{\mathbf{h}}_J)\right],$$

并在尺度内部执行自注意力：

$${\mathbf{H}}^p=\mathrm{softmax}\left(\frac{{\Gamma }_p{\mathbf{W}}_p^Q({\Gamma }_p{\mathbf{W}}_p^K{)}^{\top }}{\sqrt{d}}\right){\Gamma }_p{\mathbf{W}}_p^V.$$

论文使用两个尺度 $p_1,p_2$，再与低秩细粒度表示 $\hat{\mathbf{H}}$ 融合：

$$\tilde{\mathbf{H}}=f(\hat{\mathbf{H}}\parallel {\mathbf{H}}^{p_1}\parallel {\mathbf{H}}^{p_2}),$$

其中 $\parallel$ 表示拼接，$f(\cdot )$ 将不同长度的尺度表示投影回与原序列对应的 $J\times d$ 空间。

多头版本为：

$$\tilde{\mathbf{H}}=({\mathrm{head}}_1\parallel \cdots \parallel {\mathrm{head}}_N){\mathbf{W}}^D,$$

$${\mathrm{head}}_n=f({\hat{\mathbf{H}}}_n\parallel {\mathbf{H}}_n^{p_1}\parallel {\mathbf{H}}_n^{p_2}).$$

最后通过带 GELU 的逐位置前馈网络注入非线性：

$$\mathrm{FFN}(\mathbf{x})=\mathrm{GELU}(\mathbf{x}{\mathbf{W}}_1^{(l)}+{\mathbf{b}}_1^{(l)}){\mathbf{W}}_2^{(l)}+{\mathbf{b}}_2^{(l)}.$$

理解要点：多尺度模块不是为每种行为分别训练一个 Transformer，而是先把行为作为输入上下文，再在不同时间分辨率上共同学习行为感知的物品转移。

2.3 个性化多行为超图

图 3：物品级多行为超图、物品语义超图及节点—超边—节点传播，截取自论文 Figure 2(c）。

（1）为什么用超图？

普通图边表达 $v_i\leftrightarrow v_j$ 的二元关系。超图中的一条超边可以同时连接多个节点，更适合表示“多个交互共同指向某种购买意图”或“同一物品上的浏览、收藏、加购共同影响购买”的高阶关系。

MBHT 为每条用户序列构造两个超图：

• ${\mathcal{G}}^p$：物品语义依赖超图；
• ${\mathcal{G}}^q$：物品级多行为依赖超图。

（2）物品语义依赖：多通道度量学习

把物品与行为嵌入相加得到 ${\mathbf{v}}_j={\mathbf{e}}_j\oplus {\mathbf{b}}_j$。第 $n$ 个通道的相似度为：

$${\hat{\beta }}_{j,j^{\prime }}^n=\tau ({\mathbf{w}}^n\odot {\mathbf{v}}_j,{\mathbf{w}}^n\odot {\mathbf{v}}_{j^{\prime }}),$$

其中 $\tau$ 为余弦相似度，${\mathbf{w}}^n$ 是可学习的通道权重。多个通道取均值得到：

$${\beta }_{j,j^{\prime }}=\frac{1}{N}\sum _{n=1}^N{\hat{\beta }}_{j,j^{\prime }}^n.$$

对每个物品选择语义相关性最高的 top-$k$ 个物品，建立超边。语义超图关联矩阵为：

$$m^p(v_j,{ϵ}_{j^{\prime }})=\{\begin{array}{ll}{\beta }_{j,j^{\prime }},& v_{j^{\prime }}\in A_j,\\ 0,& \mathrm{otherwise}.\end{array}$$

这里 $A_j$ 是物品 $v_j$ 的 top-$k$ 语义邻居集合。与直接按相邻位置连边相比，这一步可以找到相隔很远但兴趣语义接近的物品。

（3）物品级多行为依赖超图

如果同一用户在不同时刻以多种行为与同一物品发生交互，模型把这些行为感知节点连接到同一条超边：

$$m^q(v_j^b,{ϵ}_j^{b^{\prime }})=\{\begin{array}{ll}1,& v_j^b\in {\mathcal{E}}_j^q,\\ 0,& \mathrm{otherwise}.\end{array}$$

这部分超图随用户序列变化，因此是个性化的。例如，频繁“收藏后购买”的用户与“加购后购买”的用户会形成不同的连接模式。

两个关联矩阵按列拼接：

$$\mathbf{M}={\mathbf{M}}^p\parallel {\mathbf{M}}^q.$$

（4）超图卷积：节点→超边→节点

超图信息传播写为：

$${\mathbf{X}}^{(l+1)}={\mathbf{D}}_v^{-1}\mathbf{M}{\mathbf{D}}_e^{-1}{\mathbf{M}}^{\top }{\mathbf{X}}^{(l)},$$

其中 ${\mathbf{D}}_v$ 和 ${\mathbf{D}}_e$ 分别是节点度与超边度的对角归一化矩阵。一次传播包含两个阶段：

1. 节点的信息汇聚到超边；
2. 超边再把高阶上下文传回所连接的节点。

初始超图表示还加入行为感知的自门控：

$${\mathbf{x}}^{(0)}=({\mathbf{v}}_j\oplus {\mathbf{b}}_j)\odot \sigma (({\mathbf{v}}_j\oplus {\mathbf{b}}_j)\mathbf{w}+\mathbf{r}).$$

2.4 跨视图融合、预测与训练

序列视图表示为 ${\tilde{\mathbf{h}}}_i$，超图视图表示为 ${\tilde{\mathbf{x}}}_i$。为缓解图卷积过平滑，论文将各层超图表示取平均后作为 ${\tilde{\mathbf{x}}}_i$。两路表示的注意力权重为：

αi=Attn⁡(ei)=exp⁡(a⊤Waei)∑iexp⁡(a⊤Waei),ei∈{h~i,x~i}. \alpha_i=\operatorname{Attn}(\mathbf{e}_i)= \frac{\exp(\mathbf{a}^\top\mathbf{W}_a\mathbf{e}_i)} {\sum_i\exp(\mathbf{a}^\top\mathbf{W}_a\mathbf{e}_i)}, \quad \mathbf{e}_i\in\{\widetilde{\mathbf{h}}_i,\widetilde{\mathbf{x}}_i\}. αi​=Attn(ei​)=∑i​exp(a⊤Wa​ei​)exp(a⊤Wa​ei​)​,ei​∈{hi​,xi​}.

融合结果：

$${\mathbf{g}}_i={\alpha }_1{\tilde{\mathbf{h}}}_i\oplus {\alpha }_2{\tilde{\mathbf{x}}}_i.$$

候选物品 $v_j$ 的打分为：

$${\hat{y}}_{i,j}={\mathbf{g}}_i^{\top }{\mathbf{v}}_j.$$

训练采用类似 BERT4Rec 的 Cloze 任务：遮蔽序列中的目标行为物品及其行为类型，并预测被遮蔽物品。为避免标签泄漏，被遮蔽物品不参与超图构建；其超图表示由遮蔽位置周围窗口的上下文表示平均得到。交叉熵目标为：

$$\mathcal{L}=\frac{1}{|T|}\sum _{t\in T,m\in M}-\log \left(\frac{\exp ({\hat{y}}_{m,t})}{{\sum }_{j\in V}\exp ({\hat{y}}_{m,j})}\right).$$

其中 $T$ 为真实物品集合，$M$ 为遮蔽位置集合，$V$ 为物品全集。

图 4：MBHT 前向传播流程，来源于论文 Algorithm 1。

2.5 复杂度与工程化简化

论文给出的复杂度分析如下：

• 多尺度 Transformer 的注意力复杂度由
  $O(Ld((J/C{)}^2+(J/p_1{)}^2+(J/p_2{)}^2))$
  近似降至 $O(3LJd)$；
• 语义度量学习为 $O(J^{2}d)$；
• 超图卷积为 $O(LJ{d}^2)$；
• 总体约为 $O(3LJd+LJ{d}^2+J^{2}d)$。

原始 $\mathbf{M}{\mathbf{M}}^{\top }$ 计算较重。论文在补充材料中用预计算的相似度构造近似矩阵：

$${\mathbf{M}}^{\prime }=\mathbf{C}\oplus \mathbf{A}\oplus \mathbf{W},$$

并将传播简化为：

$${\mathbf{X}}^{(l+1)}={\mathbf{D}}^{-1}{\mathbf{M}}^{\prime }{\mathbf{X}}^{(l)}.$$

这是一项很实用的工程处理：牺牲极少精度，换取接近一半的单轮训练时间，具体结果见第 12 节。

三、实验设置与评价方法

3.1 数据集

数据集	用户数	物品数	交互数	平均序列长度	密度	行为类型
Taobao	147,892	99,038	7,092,362	48.23	$5\times 10^{-6}$	buy, cart, fav, pv
Retailrocket	11,649	36,223	87,822	14.55	$1\times 10^{-6}$	buy, cart, pv
IJCAI	200,000	808,354	13,072,940	78.58	$7\times 10^{-7}$	buy, cart, fav, pv

三套数据的平均序列长度和稀疏程度差异明显，能检验模型在短序列、长序列及极稀疏环境下是否稳定。

3.2 划分与评价协议

• 采用 leave-one-out；
• 每位用户按时间排序，最后一次购买作为测试样本，之前一次购买作为验证样本；
• 每个正样本按物品流行度采样 100 个负样本；
• 指标为 HR@5/10、NDCG@5/10、MRR，均为越大越好。

三个指标关注点不同：

• HR@K：真实物品是否进入前 $K$，衡量“有没有命中”；
• NDCG@K：不仅要求命中，还奖励更靠前的排名；
• MRR：真实物品排名倒数的均值，对首个正确结果的位置很敏感。

3.3 对比方法

• 通用序列推荐：Caser、HPMN、GRU4Rec、SASRec、BERT4Rec；
• 图序列推荐：SR-GNN、GCSAN、HyperRec、SURGE；
• 多行为推荐：BERT4Rec-MB、MB-GCN、NMTR、MB-GMN。

这些基线覆盖 RNN、CNN、Transformer、普通图、超图以及多行为图学习，比较范围较完整。

四、实验结果与深入分析

4.1 主实验：MBHT 到底提升了多少？

下表转录自论文 Table 2。MBHT 的各项结果均带显著性标记，即相对最佳基线的提升在 $p<0.01$ 下显著。

为方便阅读，下面列出 MBHT 与每列最佳基线的对比：

数据集	指标	最佳基线	MBHT	相对提升
Taobao	HR@5	0.217	0.323	48.84%
Taobao	NDCG@5	0.169	0.257	52.07%
Taobao	HR@10	0.319	0.405	26.95%
Taobao	NDCG@10	0.188	0.283	50.53%
Taobao	MRR	0.178	0.262	47.19%
Retailrocket	HR@5	0.906	0.956	5.17%
Retailrocket	NDCG@5	0.879	0.950	8.07%
Retailrocket	HR@10	0.891	0.931	6.36%
Retailrocket	NDCG@10	0.887	0.933	5.19%
Retailrocket	MRR	0.870	0.929	6.78%
IJCAI	HR@5	0.297	0.346	16.50%
IJCAI	NDCG@5	0.220	0.268	21.82%
IJCAI	HR@10	0.402	0.437	8.71%
IJCAI	NDCG@10	0.253	0.297	17.39%
IJCAI	MRR	0.227	0.272	19.82%

结果如何理解？

1. Taobao 提升最大。 这套数据既有四种行为，又有中等偏长的序列，MBHT 的多尺度和多行为结构都能发挥作用。
2. Retailrocket 的绝对指标很高，但相对提升较小。 其平均序列仅 14.55，短程规律已能覆盖较多信号，因此普通图方法 SURGE 也很强。
3. IJCAI 验证了长程依赖价值。 平均序列长达 78.58，MBHT 在 NDCG@5 上相对提升 21.82%，说明其优势不仅是“命中更多”，还体现在把正确物品排得更靠前。
4. 多行为信息不是简单加个 embedding 就够了。 BERT4Rec-MB 通常优于原始 BERT4Rec，但仍落后于显式建模跨行为高阶关系的 MBHT。

4.2 消融实验：每个模块是否真的有效？

下表直接整理自论文 Table 3，因此不再重复插入表格截图。

变体	Taobao HR@5 / NDCG@5	Retailrocket HR@5 / NDCG@5	IJCAI HR@5 / NDCG@5
MBHT	0.323 / 0.257	0.956 / 0.950	0.346 / 0.268
去除多行为超图（- MB-Hyper）	0.261 / 0.206	0.883 / 0.861	0.320 / 0.249
去除度量学习语义超图（- ML-Hyper）	0.271 / 0.212	0.898 / 0.874	0.328 / 0.256
去除整个超图（- Hypergraph）	0.246 / 0.194	0.813 / 0.839	0.301 / 0.234
多尺度注意力换成普通多头注意力（- MS-Attention）	0.253 / 0.200	0.816 / 0.832	0.329 / 0.256

关键观察：

• 去掉整个超图时三套数据都明显下降，说明全局依赖不是可有可无的附加项；
• 分别去掉多行为超图或语义超图都会掉点，两种超边具有互补性；
• Taobao 上去掉多尺度注意力后 HR@5 从 0.323 降至 0.253，说明多粒度转移对这套数据尤其重要；
• IJCAI 上去掉多尺度注意力的下降小于去掉整个超图，符合“长序列更依赖全局超图视图”的解释。

4.3 视图贡献与序列长度

图 5：序列视图与超图视图的注意力权重分布，来源于论文 Figure 3。

两个视图不是固定等权

Taobao 和 IJCAI 的平均序列较长，超图视图贡献整体更大；Retailrocket 序列较短，两种视图的权重分布更分散。这说明跨视图注意力不是形式上的拼接，而是在不同数据特征下调整局部序列与全局依赖的比重。

长短序列都能获益

图6：不同序列长度分组上的 NDCG@5，来源于论文 Figure 4。

论文将用户按序列长度分为五组。Figure 4 显示，MBHT 在短序列和长序列组中都优于代表性基线。作者据此认为：局部多尺度信号与全局超图信号的组合有助于缓解序列数据稀缺。

4.4 收敛、案例与超参数分析

图 7：Taobao 与 IJCAI 上的训练收敛曲线，来源于论文 Figure 5。

收敛速度

在论文的测试曲线上，MBHT 在 Taobao 第 2 个 epoch、IJCAI 第 8 个 epoch 左右达到最佳表现；BERT4Rec/BERT4Rec-MB 在相应对比中分别约需 10 和 15 个 epoch。需要注意，这说明的是该实验设置下的优化速度，不等同于所有硬件和实现中的实际墙钟时间都更短。

跨行为依赖案例

图 8：不同用户的行为依赖、两个尺度模式及超图权重，来源于论文 Figure 6。

图中四个用户的 $4\times 4$ 矩阵展示了个性化的跨行为相关性；$p_1,p_2$ 两组热力图对应不同时间尺度，最后两组热力图展示目标行为相关性与超图中的物品语义/行为依赖。该案例直观说明：MBHT 学到的不是所有用户共享的一套固定行为链路。

简化超图传播的效率

数据集	原始 Recall@5	简化 Recall@5	原始每轮时间	简化每轮时间	时间下降
Taobao	0.326	0.323	86.43 s	38.05 s	约 56.0%
Retailrocket	0.959	0.956	4.58 s	2.11 s	约 53.9%
IJCAI	0.352	0.346	133.28 s	65.20 s	约 51.1%

简化后的 Recall@5 仅下降 0.003、0.003、0.006，但每轮时间约减少一半，说明近似传播在论文设置下具有很好的性价比。

超参数

图 9：多尺度参数与语义 top-$k$ 的敏感性，来源于论文 Figure 7。

• 多尺度组合在 $[20,4,20]$、$[20,8,40]$、$[40,4,20]$、$[40,8,40]$ 中搜索；
• Retailrocket 的最佳 $(p_1,p_2)=(4,20)$，Taobao 的最佳组合也是图中对应的短/中尺度配置；IJCAI 更偏好 $(8,40)$，与其更长的平均序列一致；
• 低秩尺度 $C$ 在 IJCAI、Retailrocket 上取 20 更好，而 Taobao 取 40 更好；
• 语义邻居数 $k$ 在 {4,6,8,10,12,14}\{4,6,8,10,12,14\}{4,6,8,10,12,14} 中搜索。通常序列越长，合适的传播范围越大，但 $k$ 过大也会引入噪声。

五、总结、核心贡献、局限与可优化方向

5.1 全文总结

MBHT 的核心可以浓缩为“局部多尺度序列建模 + 全局高阶关系学习”。它先把物品、位置和行为类型共同编码，通过低秩多尺度 Transformer 提取不同时间粒度的动态兴趣；再为每位用户构造语义超图与多行为超图，以节点—超边—节点传播捕捉长程、高阶和个性化依赖；最后用跨视图注意力融合两路表示，并通过 Cloze 任务预测目标行为物品。

从实验结果看，MBHT 在 Taobao、Retailrocket、IJCAI 的 15 个评价项上均显著超过最佳基线，论文报告的相对提升范围为 5.17%–52.07%。消融结果进一步表明：多尺度注意力、物品语义超图和多行为超图都对最终性能有独立贡献，而完整超图视图对长序列数据尤其重要。

5.2 论文的核心贡献

1. 提出统一的多行为序列推荐框架。 MBHT 没有把辅助行为视作静态附加特征，而是把它们同时纳入时间序列建模和高阶关系建模。
2. 设计多尺度低秩 Transformer。 模型在细粒度与两个粗粒度上编码行为转移，并利用低秩投影缓解标准自注意力随序列长度平方增长的问题。
3. 构建双通道个性化超图。 语义超图连接长程相似物品，多行为超图连接同一物品上的不同交互类型；两者共同表达普通二元图难以覆盖的高阶依赖。
4. 提出自适应跨视图融合。 模型不是固定拼接 Transformer 与超图表示，而是学习两种视图对不同样本的贡献权重。
5. 提供较充分的实验验证。 论文覆盖三套真实数据、13 个代表性基线、五种排序指标，并给出显著性、消融、分组、收敛、案例、超参数和效率实验。
6. 兼顾可落地性。 简化超图传播后，三套数据的单轮训练时间约下降 51%–56%，Recall@5 仅降低 0.003–0.006。

5.3 论文局限

以下内容是结合论文方法与实验设置作出的分析，并非作者已经通过实验直接证明的结论。

1. 长序列下仍有较重的计算负担。 虽然注意力采用低秩投影、超图传播也经过近似，但语义度量仍含 $O(J^{2}d)$ 项；为每条用户序列动态构图也会增加数据准备和在线推理成本。
2. 辅助行为的强弱与可靠性没有显式区分。 浏览、收藏、加购被表示为离散行为类型，但点击停留时长、行为发生间隔、价格、设备和场景等信息尚未被利用；噪声浏览也可能被错误强化。
3. top-$k$ 超边依赖人工搜索。 最佳 $k$ 与平均序列长度相关，换数据集或业务场景后往往需要重新调参，固定邻居数也难以适配兴趣复杂度不同的用户。
4. 离线评价采用 100 个负样本。 sampled ranking 不能完全等同于全量候选排序，且论文没有报告在线 A/B 测试、推理吞吐量或端到端延迟。
5. 应用场景相对集中。 三套数据均围绕电商购买行为，模型能否直接推广到视频完播、音乐收藏、新闻分享等不同反馈机制仍需验证。
6. 时间信息表达仍较粗。 位置编码能够表达先后顺序，但无法充分刻画“几分钟后加购”和“几个月后重新浏览”之间的真实时间差异。