双塔异构神经网络：互补特征融合的实战探索

关注

原创 2026-02-03 23:41:56 1.2k 阅读 AI 写同款· GEO 优化 ›

双塔模型（Two-Tower Model）推荐系统实践双塔模型是一种高效的深度学习架构，广泛应用于推荐系统、搜索排序和语义匹配等场景。该模型由用户塔和物品塔两个独立神经网络组成，分别处理对应特征后通过相似度计算得出匹配分数。模型支持Pointwise、Pairwise和Listwise三种训练方法，具有高效检索、灵活部署等优势，但也存在特征交叉不足的局限性。Rust语言凭借高性能特性，适合实现双塔模型的核心计算逻辑。改进方向包括引入多塔结构、强化负采样策略等，以提升模型在细粒度特征捕捉和大规模应用中的表现。阅读详情

双塔异构神经网络：互补特征融合的实战探索

在深度学习模型设计中，经常面临一个核心矛盾：模型复杂度与泛化能力的平衡。单一架构往往难以同时捕捉数据的不同模式——深层网络擅长提取抽象语义，而带有正则化的网络更关注鲁棒性特征。本文介绍一种双塔异构融合架构，通过两个结构差异显著的MLP分别提取特征，再通过交互层进行融合。

一、模型架构总览

请添加图片描述

我们的模型包含三个核心组件：

Tower A (MLP1)：带正则化的浅层网络 —— “稳健派”
Tower B (MLP2)：无正则化的深层网络 —— “表达派”
融合层：逐元素相乘 + 全局池化 —— “交互层”

class FusionModel(nn.Module):
    def __init__(self, tower1, tower2):
        super().__init__()
        self.tower1 = tower1  # 正则化塔
        self.tower2 = tower2  # 深度塔
    
    def forward(self, x):
        left_feat = self.tower1(x)   # [B, 1024] 稳健特征
        right_feat = self.tower2(x)  # [B, 1024] 深度特征
        fused = left_feat * right_feat  # 特征交互
        return fused.sum(dim=1, keepdim=True)  # 压缩为预测值

二、双塔设计的差异化策略

2.1 Tower A：正则化浅层网络 (MLP1)

self.fc1 = nn.Linear(10000, 2048)
self.bn1 = nn.BatchNorm1d(2048)
self.dp1 = nn.Dropout(0.1)
# ... 第二层同理

设计哲学：

BatchNorm：稳定隐藏层分布，加速收敛，提供轻微正则化
Dropout(0.1)：防止过拟合，强制网络学习冗余表示
瓶颈结构：10000 → 2048 → 1024，通过逐层降维压缩信息

适用场景：处理高维稀疏特征（如万维 one-hot 特征），抑制噪声干扰。

2.2 Tower B：深度无正则化网络 (MLP2)

self.fc1 = nn.Linear(10000, 4096)
# ... 连续5层全连接，无外置正则化

设计哲学：

深度优势：5层堆叠具有更强的非线性表达能力，可学习复杂高阶特征组合
宽维度：4096维隐藏层保留更多信息容量，避免早期信息瓶颈
无Dropout/BN：保留原始梯度流，适合数据量充足、噪声较小的场景

关键观察： deeper network here acts as a “feature factory”, generating rich hierarchical representations without the smoothing effect of normalization.

三、融合策略：Hadamard积 + 全局求和

不同于常见的特征拼接（concatenation）或注意力机制，本模型采用逐元素相乘（Hadamard Product）：

fused = left_feat * right_feat  # [batch, 1024]
output = fused.sum(dim=1, keepdim=True)  # [batch, 1]

为什么选择逐元素相乘？

特征交互：模拟逻辑"与"操作，只有当两个塔对某个维度都激活时，该特征才会被保留
- 例如： Tower A 检测到"关键词A存在" + Tower B 检测到"上下文B匹配" → 强相关信号
维度对齐压力：强制两个塔学习语义对齐的表示空间。如果 Tower A 的第i维表示"情感极性"，Tower B 的第i维也倾向学习互补的情感特征。
计算高效：相比双线性池化或注意力机制，O(n)复杂度适合实时推理。

求和池化的作用

将1024维交互特征压缩为标量，相当于可学习的加权投票机制：
$\text{output} = \sum_{i=1}^{1024} (w_{1i} \cdot x) \times (w_{2i} \cdot x)$

这等价于一个二阶特征交互的简化形式，类似Factorization Machines的核心思想。

四、应用场景与扩展

这种架构特别适合以下场景：

多视角特征学习
- Tower 1 处理手工特征（统计特征，需要BN稳定）
- Tower 2 处理原始嵌入（深度学习特征，需要深度提取）
知识蒸馏 precursor
- 先分别训练两个教师模型，再用融合层学习集成策略
多任务学习的骨干网络
- 在 fused 层后添加多个投影头，分别处理不同任务

进阶融合技巧

若简单逐元素相乘效果不佳，可尝试：

# 门控融合（Gating Mechanism）
gate = torch.sigmoid(self.gate_layer(torch.cat([left, right], dim=1)))
fused = gate * left + (1 - gate) * right

# 双线性交互
fused = torch.bmm(left.unsqueeze(2), right.unsqueeze(1)).view(batch, -1)