FUPM：联邦用户偏好建模如何实现隐私保护跨域推荐

• 论文题目：Federated User Preference Modeling for Privacy-Preserving Cross-Domain Recommendation
• 中文译名：面向隐私保护跨域推荐的联邦用户偏好建模
• 作者：Li Wang、Shoujin Wang、Quangui Zhang、Qiang Wu、Min Xu
• 期刊：IEEE Transactions on Multimedia，2025，27：5324–5336
• DOI：10.1109/TMM.2025.3543106
• 论文全文：arXiv:2408.14689 · PDF
• 开源代码：Lili1013/FUPM

一、背景：为什么跨域推荐需要重新设计隐私边界？

假设同一用户在“图书”和“音乐”两个领域都有行为，图书平台可能借助音乐偏好改善稀疏用户的推荐。但跨平台直接共享评分、评论或用户向量，会暴露个人兴趣。传统隐私保护方法虽然给交互矩阵或嵌入加噪，却可能被外部信息关联推断；同时只看历史点击，会遗漏评论文字和“尚未曝光但可能喜欢”的物品。论文将这两个不足分别称为偏好不够全面、隐私保护能力有限。

图1：传统跨域推荐、已有隐私保护跨域推荐与FUPM的示意对比。

论文研究多目标跨域推荐：有 $K$ 个领域，每个领域都要改善推荐效果。主设定为跨领域用户重叠、物品集合不重叠。每个领域保存自己的交互矩阵 Y i ∈ { 0 , 1 } ∣ U ∣ × ∣ V i ∣ Y^i\in\{0,1\}^{|U|\times |V^i|} Yi∈{0,1}∣U∣×∣Vi∣ 和评论文本；服务器只参与偏好原型聚合。所谓“联邦”是各领域作为客户端联合训练，并非把一个用户的手机当作一个客户端。作者还在方法分析中讨论部分用户重叠时，怎样让非重叠用户通过域内相似重叠用户间接受益；这属于扩展设定，不能与主实验混为一谈。

从业务角度看，跨域推荐最难的地方不只是“两个商品库的物品编号不同”。同一用户在不同领域的偏好可能相关，却不会完全一致：喜欢科幻小说的人可能偏爱科幻电影，但不会因此喜欢所有带有“科幻”标签的商品。如果把源域信息原封不动地加入目标域模型，噪声和领域偏差也会一起传过去，出现负迁移。因此，模型既要找到可以共享的兴趣，又要容纳各领域自己的规律。FUPM选择以用户原型作为跨域桥梁，并用目标领域的本地训练继续修正表示。其设计目标是让共享信息成为补充，而不是替代目标领域已有的证据。

还有一个容易混淆的概念：数据“不出域”并不意味着系统完全没有信息交换。客户端仍需向服务器上传经过处理的原型，服务器也会回传聚合结果。论文强调的是原始交互和评论文本留在本地，以及上传表示经过群体聚合与加噪。评价这种方法时，推荐精度和上传信息可能泄露多少用户偏好，都应作为问题的一部分。后文的消融实验说明模块是否有用，隐私预算实验则说明保护强度与效果之间怎样取舍。

二、方法：从交互、评论与潜在兴趣构建完整偏好

FUPM有四个连续环节：表示学习、综合偏好探索、私有偏好迁移、评分预测。先把用户与物品ID映射为嵌入 ${\mathbf{e}}_u^i,{\mathbf{e}}_v^i$，再把用户/物品评论文本编码为 ${\mathbf{h}}_u^i,{\mathbf{h}}_v^i$。论文在Amazon上用Doc2Vec、在Douban上用Sentence Transformer生成评论表示。

2.1 对比特征对齐：让“行为”和“文字”描述同一个兴趣

同一用户的ID嵌入和评论嵌入是正样本，不同用户构成负样本。用户侧的域内对比损失（原文式1、2）可写为：

$${\mathcal{L}}_{\mathrm{intra},u}^i=-\log \frac{\exp f({\mathbf{e}}_u^i,{\mathbf{h}}_u^i)}{\exp f({\mathbf{e}}_u^i,{\mathbf{h}}_u^i)+{\sum }_{u^{\prime }\ne u}\exp f({\mathbf{e}}_u^i,{\mathbf{h}}_{u^{\prime }}^i)},f(\mathbf{a},\mathbf{b})=\frac{{\mathbf{a}}^{\mathsf{T}}\mathbf{b}}{\Vert \mathbf{a}\Vert \Vert \mathbf{b}\Vert \tau }.$$

物品侧 ${\mathcal{L}}_{\mathrm{intra},v}^i$ 同理。$\tau$ 是温度系数。这里的对比学习并不是把用户评论直接发给其他领域，而是在本地让评论表示指导ID表示，使稀疏交互也能借助文本语义。

可以把这一步理解为两位“观察者”描述同一个用户：交互记录反映其实际操作，评论文本提供更明确的语义线索。若某用户只点击过少量商品，交互嵌入可能很不稳定；但其评论里提到的类型、功能和体验，仍可提供补充。正样本约束促使两种表示靠近，负样本约束则避免所有人的向量挤到同一位置。物品侧也是同样道理：一件商品的交互次数很少时，评论文本仍可能说明它与哪些物品相似。需要注意的是，对比损失本身并不直接计算最终推荐列表，它改变的是后续预测所依赖的表示质量。只有和推荐损失一起训练，才能判断这种对齐是否真的改善排序。

2.2 潜在兴趣挖掘：未点击不等于不喜欢

对于一次正交互 $(u,v)$，模型用评论嵌入计算 $v$ 与用户尚未交互物品的相似度，选择超过阈值0.5的物品作为潜在正样本；把这些物品的ID嵌入平均为 ${\hat{\mathbf{e}}}_v^i$。原文式3将真实正物品与潜在兴趣插值：

$${\mathbf{m}}_v^i=\beta {\mathbf{e}}_v^i+(1-\beta ){\hat{\mathbf{e}}}_v^i,0<\beta <1,\beta \sim \mathrm{Gaus}(\mu ,\delta ).$$

这样，一个用户的偏好不再只由已发生的点击决定。这里要注意：潜在正样本是模型根据相似度推断的训练信号，并非用户确实喜欢的真实标签。论文也对负物品随机采样以减少把全部未交互物品都当作负例的偏差。

为什么要做插值，而不直接把相似商品全部标为正例？因为“文本相似”不等于“购买意愿相同”。例如两本书都讨论机器学习，读者仍可能只需要其中一本。若直接赋予相同的正标签，会放大错误推断。插值把已发生交互的物品向量与潜在兴趣向量结合，让模型利用相似性，同时保留真实行为的锚点。论文使用从高斯分布采样的系数，使训练时得到的混合表示有所变化；这相当于在表示空间增加多样性。实际复现时，应核对代码如何保证系数处于文中要求的 $(0,1)$ 范围，并观察评论质量、相似度阈值以及候选物品数量变化后，误选潜在正样本的比例是否上升。

三、联邦迁移与预测：原型如何保护隐私并传递知识？

3.1 从相似用户到本地原型

对用户 $u$，每个领域在交互图中寻找与其具有相同交互的相似用户群 ${\mathcal{N}}_u^i$，平均其ID嵌入（原文式4）：

$${\mathbf{p}}_u^i=\frac{1}{|{\mathcal{N}}_u^i|}\sum _{j\in {\mathcal{N}}_u^i}{\mathbf{e}}_j^i.$$

原型概括的是一群用户的兴趣，但平均本身不等于严格隐私保证。论文因此继续对上传原型进行L2裁剪和拉普拉斯加噪（式5）：

$${\hat{\mathbf{p}}}_u^i=\mathrm{clip}({\mathbf{p}}_u^i,C)+\mathrm{Lap}(0,\eta ).$$

$C$ 是裁剪阈值，$\eta$ 控制噪声。原文给出隐私预算上界 $ϵ\le 2C/\eta$：$C$ 越小、噪声越大，隐私越强，通常也会损失排序精度。这里按论文叙述理解其LDP机制，不能把“原型无法逆推”写成绝对安全结论。

这个过程解决了两个不同层次的问题。平均相似用户的向量，降低了单个用户与上传表示一一对应的程度；裁剪与随机噪声，则限制一个输入变化对输出可能造成的影响。前者是表示层面的设计，后者才对应文中量化的隐私预算。若省略裁剪，少数范数特别大的原型可能需要更强噪声才能达到同样保护；若噪声过强，全局原型又会失去对推荐有用的方向。论文因此同时研究 $C$ 和 $\eta$。从工程实现看，还需要明确相似用户群过小时怎样处理：群体越小，平均表示越可能保留个人特征，泛化能力也更依赖噪声机制。

3.2 全局聚合与跨域对比

服务器对同一用户在各领域上传的带噪原型加权平均（式6、7）：

$${\mathbf{g}}_u=\sum _{i=1}^K{w}_u^i{\hat{\mathbf{p}}}_u^i,w_u^i=\frac{|M_u^i|}{{\sum }_{r=1}^K|M_u^r|},\sum _i{w}_u^i=1.$$

权重与该用户在领域 $i$ 的交互数有关：行为较充分的领域在全局原型中占比更高。服务器回传 ${\mathbf{g}}_u$ 后，本地把 ${\mathbf{e}}_u^i$ 与对应 ${\mathbf{g}}_u$ 构成正对，与其他用户全局原型构成负对，使用原文式8的InfoNCE损失 ${\mathcal{L}}_{\mathrm{inter}}^i$ 完成迁移。这样既保留域内偏好，也吸收跨域共性。

这里的加权聚合有明确的直觉：假如某用户在图书领域有很多交互，而在音乐领域只有几次点击，图书原型通常能提供更稳定的兴趣线索，因而占更高权重。但交互多不必然等于偏好更可信；如果一个领域存在大量重复、偶然或机器人行为，简单按数量加权也可能引入偏差。这是值得继续研究的地方，可以让权重同时考虑行为质量、领域相关性和原型不确定性。跨域对比学习则负责把聚合后的信息带回本地：模型学习识别“属于该用户的全局偏好”和“其他用户的全局偏好”，避免仅把服务器向量机械地拼接进预测器。

最后把用户嵌入 ${\mathbf{e}}_u^i$ 和混合物品嵌入 ${\mathbf{m}}_v^i$ 送入MLP，预测交互概率。完整训练目标（式9）是：

$${\mathcal{L}}^i={\mathcal{L}}_{\mathrm{prd}}^i+\gamma ({\mathcal{L}}_{\mathrm{intra},u}^i+{\mathcal{L}}_{\mathrm{intra},v}^i)+\alpha {\mathcal{L}}_{\mathrm{inter}}^i.$$

${\mathcal{L}}_{\mathrm{prd}}$ 为交叉熵；论文实验取 $\gamma =0.2,\alpha =0.05$。读代码时可沿“本地嵌入与评论对齐 → 潜在兴趣插值 → 生成带噪本地原型 → 服务器聚合 → 本地跨域对比 → MLP预测”追踪；这比放一张难读的整页算法截图更便于复制和核查。

四、实验：准确率、数据稀疏性与隐私权衡

4.1 数据与评价协议

论文用Amazon和Douban构造四组任务。下表根据原论文Table I重录，统计中的“评分数”在建模时被转成二值交互。

任务	领域（用户数）	物品数	交互数	密度
1	Phone（4,998）	14,618	47,444	0.0649%
1	Sport（4,998）	22,101	55,556	0.0503%
2	Book（909）	3,222	46,374	1.583%
2	Music（909）	2,546	40,761	1.761%
3	Sport（2,229）	15,321	30,512	0.0893%
3	Cloth（2,229）	16,664	25,660	0.0691%
3	Phone（2,229）	9,789	25,175	0.1154%
4	Book（901）	3,222	46,200	1.591%
4	Movie（901）	14,501	560,675	4.291%
4	Music（901）	2,546	40,512	1.767%

测试使用留一法，每个正物品配99个未交互物品，在100个候选中排序；报告五次运行的平均结果。指标为HR@5/10和NDCG@5/10。HR衡量目标物品是否进入前 $K$，NDCG进一步考虑它排在多靠前。训练嵌入维度256、批量128、学习率0.001、最多200轮，并使用早停。

读这些指标时，必须先记住它们的测试范围。HR@10为0.7291，表示按该实验协议，目标物品约有72.91%的机会进入100个候选中的前十名；它不能直接解释为线上全部商品里的“购买率”。NDCG@10在命中的基础上给前排位置更高分，所以两个模型即使HR接近，若一个总把目标商品排第一，另一个常排第十，前者NDCG仍会更好。论文同时给出两种指标，有助于区别“能否找到”和“能排多靠前”。此外，五次平均值比单次结果可靠，但如果希望比较微小差异，仍需进一步查看方差、置信区间和显著性检验。

4.2 主结果：在全部任务上提升，但提升幅度不同

下表从原论文Table II逐项重录，选取每组任务的HR@10和NDCG@10。CL-DTCDR是作者讨论的强跨域基线；P2FCDR是隐私保护联邦基线。任务3、4包含三个领域，CL-DTCDR只做双领域迁移，因此跨场景比较需留意方法适用范围。

任务/测试领域	指标	CL-DTCDR	P2FCDR	FUPM
1 Phone	HR@10	0.6198	0.4896	0.7291
1 Phone	NDCG@10	0.3833	0.3369	0.5332
1 Sport	HR@10	0.6278	0.3827	0.7195
1 Sport	NDCG@10	0.4025	0.2719	0.5238
2 Book	HR@10	0.4308	0.4080	0.5188
2 Book	NDCG@10	0.2649	0.2511	0.3076
2 Music	HR@10	0.3536	0.3463	0.3630
2 Music	NDCG@10	0.1833	0.1772	0.1928
3 Sport	HR@10	0.5500	0.3266	0.7354
3 Sport	NDCG@10	0.3307	0.2338	0.5280
3 Cloth	HR@10	0.5428	0.2516	0.7201
3 Cloth	NDCG@10	0.3285	0.1850	0.5059
3 Phone	HR@10	0.4715	0.4163	0.7374
3 Phone	NDCG@10	0.2733	0.2903	0.5104
4 Book	HR@10	0.3529	0.3486	0.4875
4 Book	NDCG@10	0.2472	0.2672	0.2879
4 Movie	HR@10	0.6049	0.5128	0.7851
4 Movie	NDCG@10	0.3385	0.3169	0.5418
4 Music	HR@10	0.2552	0.3186	0.3412
4 Music	NDCG@10	0.1654	0.1393	0.1800

原文报告相对CL-DTCDR，HR@10平均提高13.28%、NDCG@10平均提高11.97%。核对Table II可见，论文“Imp”列用的是指标绝对差乘100，因此更严谨的表述应为平均提高约13.28和11.97个百分点，而非通常意义的相对增幅。例如Phone的HR@10：$0.7291-0.6198=0.1093$，即10.93个百分点；若计算相对增幅则约为17.64%。表中还可见任务2的Music优势较小，不能笼统地说“每个领域均大幅提升”。

表格还可以从三个角度读。第一，同一任务内不同领域的基线难度不同。例如任务4的Movie交互较密集，而Book和Music的数据规模与密度不同，不能拿三个领域的绝对HR值直接判断哪一类商品“更适合”FUPM。第二，强基线会随领域变化：任务4 Book的NDCG@10中，P2FCDR达到0.2672，高于表中CL-DTCDR的0.2472，所以比较时应观察该行最佳基线，而不只盯住论文重点讨论的CL-DTCDR。第三，任务2 Music的提升很小，提示相似评论、潜在兴趣和跨域原型并非在任何领域都能带来同等收益。写结论时应把“总体领先”和“局部差异”同时说清。

4.3 消融、稀疏与隐私：增益从哪里来？

以任务1 Phone为例，原论文Table III的消融结果如下。$\text{w/o PI}$ 去掉潜在兴趣，$\text{w/o inter CL}$ 去掉跨域对比，$\text{w/o intra CL}$ 去掉域内对齐。

Phone指标	完整FUPM	w/o PI	w/o inter CL	w/o intra CL
HR@10	0.7291	0.6145	0.7233	0.6757
NDCG@10	0.5332	0.3931	0.5233	0.5060

在Phone上，去掉潜在兴趣模块的损失尤其明显；跨域对比也有贡献，但不同任务的影响不一。这说明三个模块的作用要按领域观察，而不是只看平均值。

消融结果还回答了“是不是模型参数多了，所以效果自然更好”这一疑问。若移除某组件后，在基本训练框架仍保留的情况下性能下降，就为该组件的功能提供了证据；但这仍不是所有增益都能归因于单一模块的严格因果证明。各模块可能相互依赖：评论对齐改善潜在正样本筛选，较好的本地表示又改善原型质量，原型迁移反过来影响最终预测。论文还设置了直接求和替代对比学习、随机抽取潜在物品等变体，用来区分“加入更多信息”和“按设计方式利用信息”。对后续改进者来说，比照这些变体复现，往往比只复现完整模型更容易定位性能来源。

图2：训练交互密度从0.2到0.8时的HR@10和NDCG@10。该图展示Douban任务Book与Music上的走势；在较稀疏条件下FUPM仍保持优势。

原论文Table IV还给出了隐私机制的代价：在任务2中，去掉LDP时Book的HR@10/NDCG@10为0.6044/0.3835，FUPM加入LDP后变为0.5188/0.3076；Music从0.4900/0.2930变为0.3630/0.1928。更强的隐私保护带来可观察的精度损失，这也是部署时必须共同报告隐私预算与推荐质量的原因。

图3：噪声参数和裁剪阈值对排序性能与隐私预算的影响。论文据此选取 $\eta =0.3,C=0.1$ 作为经验折中。

图4：域内对比损失权重 $\gamma$ 的敏感性。随权重变化，表现并非单调上升；论文采用 $\gamma =0.2$。

五、总结：贡献、局限与可继续研究的方向

核心贡献有三点：第一，把评论文本和潜在兴趣一起纳入用户偏好，缓解“只看历史点击”的稀疏性；第二，用带噪的群体原型完成联邦跨域迁移，并让不同领域按用户交互量自适应加权；第三，在四组双领域或三领域任务上，用主结果、消融、稀疏度和隐私预算实验共同验证方法。

需要保留的局限也很明确。主方法依赖跨领域重叠用户，非重叠用户只能通过域内相似用户间接迁移；潜在正样本阈值0.5和高质量评论文本并非所有业务都有；实验的100候选物品离线排序与全量在线检索之间仍有距离。论文给出原型加噪和预算分析，但“群体原型本身不可逆”不应当作无条件的安全证明，现实系统还应考虑服务器串谋、辅助信息和多轮通信的隐私风险。

可优化方向：研究用户完全不重叠时的安全语义对齐；在低质量或缺失评论场景使用鲁棒的多模态表示；将固定潜在兴趣阈值改为按用户和领域自适应；同时报告全量检索指标、通信开销和隐私攻击测试。这样的延伸紧扣论文已有实验边界，也更适合后续做研究选题。