Win-Win: A Privacy-Preserving Federated Framework for Dual-Target Cross-Domain Recommendation

最新推荐文章于 2025-01-06 10:26:41 发布
最新推荐文章于 2025-01-06 10:26:41 发布
阅读量421 收藏 3
点赞数
CC 4.0 BY-SA版权
文章标签： 安全 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ye6pipipihou/article/details/134874817
本文提出了一种名为P2FCDR的隐私保护跨域推荐方法，针对业务伙伴场景，通过联邦学习保护数据隐私，利用门控选择向量提取目标相关信号，避免负迁移。实验证明了其在推荐性能和隐私保护的有效性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作者介绍

中科院+京东
通讯作者：https://zhangjunbo.org/

Background

Cross Domain Recommendation（CDR）最近已被广泛研究，以缓解数据稀疏性问题，它利用辅助域中的数据来提高目标域的推荐性能。

现有的CDR方法通常认为用户行为数据可以跨领域完全共享，但由于用户数据非常敏感，这样的做法会造成隐私泄露的重大风险。

Motivation

  1. 有限的隐私保护能力
  2. 不完整的场景覆盖；
    一家公司倾向于在另一个领域寻求与另一家公司的合作，然后通过这些互补的信息来增强业务能力，但是现有的工作大多提出保护个体用户的隐私，因此没有考虑到保护商业伙伴的隐私的问题。
  3. 受益单向化
    提供源域数据的公司从单向传输中获益较少，并且很难被激励去参与这一过程；同时，无法直接通过双向跨域直接使得双方获益，因此如何提炼有用的信号以避免两个域之间负迁移是个尚需探索的领域。

现有的隐私保护跨域推荐方法更适合个人客户场景,而本文目标是业务合作伙伴场景,提供双向的性能改进激励。

Contributions

  1. 提出的P2FCDR是双目标跨域推荐的第一个隐私保护联邦框架
  2. 考虑了CDR中的信息融合，设计了一个门控选择向量，目的是在特征水平上提取与目标域高度相关的细粒度信号，以避免负迁移
  3. 在三个真实世界的数据集上进行了广泛的实验，以保证所提出的方法在推荐性能和隐私保护方面的有效性

Method

文章出了P2FCDR，一个用于双目标跨域推荐的隐私保护联邦框架；
目标是在不共享原始交互数据的同时，提高这两个领域的推荐性能。不区分源域或目标域，每个域的状态任务都在一个统一的框架中执行。

  1. 采用联邦学习机制,使原始数据保存在本地,只同步更新后的模型参数。设计点对点的网络拓扑结构,避免第三方的参与。
  2. 利用正交映射矩阵学习跨域之间的嵌入转换,并在传输前利用局部差分隐私技术扰动用户嵌入,进一步保护隐私。
  3. 提出基于门控选择向量的嵌入融合方法,根据域内和跨域用户嵌入的相似性,提取对目标域高度相关的特征级信号,避免负迁移。
  4. 在每个域内根据推荐损失更新参数,并同步对应的正交映射矩阵。

在这里插入图片描述

Representation Modeling

输入：每个领域的用户-物品交互数据
输出：用户和物品各自的embedding表示
方法：深度矩阵分解（DMF)
在这里插入图片描述

Embedding Transformation

输入：域中用户embedding和域外用户embedding
输出：域转化后的embedding + 传输前加密
然而，不同域间的数据分布可能存在很大差异，我们需要学习两个域的特征空间之间的映射关系，以实现更好的域自适应。
文章引入了一个潜在的正交矩阵，将用户embedding从辅助域转换到目标域，例如从域a转换到域B；
正交矩阵的作用：
首先，由于正交变换保留了变换前后用户嵌入的相似性，因此保留了向量的内积。
其次，它的逆映射矩阵等价于它的转置。因此，域B向域A的转换可以直接利用其转置来简化学习过程，减少计算复杂性。

因此最后假设域A的embedding要传到域B，那么转化的公式由公式（2）所示
在这里插入图片描述

Embedding Fusion

如果辅助域也存在数据稀疏性问题，则迁移的embedding信息可能还是不足的，或者目标域的embedding已经足够，不需要额外的补充；
此时，将会发生负转移。
因此，需要特征级选择向量来重构embedding的信息融合过程，以提取与目标域高度相关的特征粒度的信号。
文章使用的是L1距离来表示目标域中用户A的embedding与从源域迁移到目标域的embedding在某个维度上的差异。
在这里插入图片描述
最后可以通过调整不同域的权重来优化embedding
在这里插入图片描述

Parameter Update and Synchronization

  • 进行模型训练与预测，根据损失函数（跨域学习中经典的损失函数）的输出更新模型参数；
  • 每轮同步合作方之间的映射矩阵；
    在这里插入图片描述

Privacy analysis

在第一轮交换用户embedding的时候，使用LDP隐藏用户表征，但这种方法存在的问题是：加入的噪声越多，对数据的可访问性越差
在第二轮交换中，更新的正交映射矩阵在域之间进行交换与聚合，本文就不再使用隐私保护的方法了；

Experiments

Setup:
数据集：Amazon
文章在三个域之间进行了成对的组合，并且只选择跨域的公共用户的用户-项目交互数据；
在这里插入图片描述
对比方法：

  1. 单域推荐
  2. 跨域推荐
  3. 基于隐私保护的跨域推荐
    在这里插入图片描述

Centralized VS Federated
集中式模型是一种用集中式数据直接训练的模型，其模型的体系结构与P2FCDR完全相同。
在这里插入图片描述
Privacy budget:
当λ大于0.04时，模型的性能显著下降，因此必须在性能和隐私保护之间进行权衡。因此，文章更倾向于将λ设置为0.02，以保护λ 隐私，而不会造成明显的性能损失。
在这里插入图片描述

Conclusion

提出了一种保护隐私的CDR框架P2FCDR，利用联邦学习机制在本地存储用户数据，而不是与其他领域共享，以保护业务伙伴的数据隐私。
同时基于域内和跨域用户嵌入之间的相似性，推导出了一个门控选择向量，用于提取与目标域高度相关的有用信号。

思考：

联邦+跨域（迁移学习）的有效组合

ye6
关注
【CIKM 2021】推荐系统相关论文分类
发现问题，并解决问题，批判性思维
01-12 2298
第30届国际信息与知识管理大会（The 30th ACM International Conference on Information and Knowledge Management, CIKM 2021）计划于2021年11月1日-11月5日在线召开。ACM CIKM是CCF推荐的B类国际学术会议，是信息检索和数据挖掘领域最重要的学术会议之一。这次会议共收到1251篇长文（Full paper）、290篇应用文（Applied paper）和626篇短文（Short paper）投稿，有271篇长文、
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
GA-DTCDR：A Graphical and Attentional Framework for Dual-Target Cross-Domain Recommendation
Guozyan的博客
05-23 2215
提出一个图形和注意力的框架GA-DTCDR：首先，构建两个独立的异构图，并从两个领域的评级和内容信息上生成更具代表性的用户和项目嵌入；然后，提出一个元素级的注意力机制，有效的联合嵌入两个域的共同用户。这一层可以智能的为从两个域种学习到的共同用户的两个嵌入提供一组权重，并为共同用户生成组合嵌入，保留不同比例的两个域中学到的特征。给出两个相关域A,B的显示反馈（评级和评论），隐式反馈（购买和浏览历史），边信息（用户配置文件和项细节），双域推荐的目的是同时提高这两个域的推荐准确率。
GA-DTCDR:这是“双目标跨域建议的图形和注意框架”（IJCAI2020）中的模型。 GA-DTCDR是DTCDR（“ DTCDR
04-11
GA-DTCDR 这是“双目标跨域建议的图形和注意框架”（IJCAI2020）中的模型。 GA-DTCDR是DTCDR的优化模型（CIKM2019中的“ DTCDR：双目标跨域推荐框架”）。 DTCDR是双目标跨域推荐的第一项工作。 与DTCDR相比，我们改进了嵌入策略（从DMF / NeuMF到图嵌入）和组合策略（从固定组合运算符到逐元素注意）。 至于doc2vec代码和包括文本信息的原始数据，我已经在共享了脱敏原始数据。 如果您想学习如何使用Doc2vec，可以访问 。 原始数据集（评论，项目详细信息，用户个人资料和评分） 我已经在researchgate上共享了原始数据（ ） 引文 如果要使用我们的代码或数据集，则应在提交的内容中引用以下论文（至少一篇论文）。 @inproceedings {zhugraphical，title = {双目标跨域推荐的图形和注意框架}，作者
【论文笔记】跨域推荐（CDR）
Harryline的博客
07-22 4310
文章目录DTCDR（2019）1 核心思想DDTCDR（WSDM-2020）1 核心思想GA-DTCDR（IJCAI2020）1 核心思想2 小知识点ACDN（WWW-2020)1 核心思想2 小知识点最新综述（IJCAI-2021）1 背景介绍2 综述动机3 不同的跨域推荐场景以及挑战4 相关的研究进展5 可用数据集合6 未来研究方向7 结论 DTCDR（2019） 论文解读系列第一篇：CIKM-19 论文 DTCDR - 知乎 (zhihu.com) 1 核心思想 [外链图片转存失败,源站可能有防盗链机
【论文阅读】跨域推荐系统相关论文学习
me_yundou的博客
12-01 1013
一些跨域推荐系统相关论文学习的总结和部分心得体会，本博客系博主根据个人理解所写，非逐字逐句翻译，预知详情，请参阅论文原文。
研讨问题记录（四）
xiaobai_qian的博客
04-16 715
20230416研讨问题记录
CIKM2022推荐系统论文集锦
张小磊的博客
09-22 1007
嘿，记得给“机器学习与推荐算法”添加星标第31届信息和知识管理国际会议CIKM2022将于2022年10月17日-21日以混合会议的方式在美国亚特兰大举行。CIKM会议是数据库／数据挖掘／内容检索领域顶级国际会议，也是中国计算机学会规定的CCF B类会议。关于该会议在历年推荐系统论文收录情况请参考下文：CIKM2021推荐系统论文集锦CIKM2020推荐系统论文集合本文主要是从教程以及研究型论文和...
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
联邦推荐系统相关论文创新点总结
hehehehejiejie的博客
01-21 3099
联邦推荐系统相关论文创新
2023 推荐系统论文整理
卢之
04-14 9768
对2023年的推荐系统论文进行一波收集，给各位做灵感。
经典论文推荐
最新发布
SmartLab307的博客
01-06 1327
交通方向： 推荐人：胡梦言 1、Li Y , Yu R , Shahabi C ,et al.Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting[J]. 2017.DOI:10.48550/arXiv.1707.01926. 推荐理由：引入图卷积操作，同时利用了时间特征和空间特征，是许多论文常用的对比方法。 2、Yu L , Du B , Hu X ,et al.Deep spatio-
跨域推荐(Cross-Domain Recommendation)的最新综述
m0_57656758的博客
12-05 5532
论文解读系列第十六篇：IJCAI 2021--跨域推荐（Cross-Domain Recommendation）的最新综述 - 知乎目录1.背景介绍(1)内容层级相关性(content-level relevance)(2)用户层级相关性(user-level relevance)(3)产品层级相关性(item-level relevance)2.综述的动机3. 不同的跨域推荐场景以及挑战场景1. 单目标跨域推荐(single-target CDR)场景2. 多领域推荐(Multi-Domain Recom
联邦学习：联邦场景下的跨域推荐
SmartLab307的博客
11-07 1261
跨域推荐在实际应用中常常面临隐私性的挑战，其一是不同用户的数据难以合法地进行集中化收集；其二是其使用的迁移学习模型跨不同的域和数据集进行映射，这常常会关联到不同的组织机构，同样会面临隐私问题。此时上面提到的需要将数据集中起来的跨域推荐方法就不再行得通了，需要考虑在联邦场景下的跨域推荐模型。
论文阅读《FEDERATED COLLABORATIVE FILTERING FOR PRIVACY-PRESERVING PERSONALIZED RECOMMENDATION SYSTEM》
wzj1212123的博客
03-29 1009
FCF是第一个将推荐与联邦结合的模型，模型整体架构简单，可行性强，之后的联邦推荐模型都是在其基础上进行改进或攻防。
坤哥笑侃跨域推荐（二） A Deep Framework for Cross-Domain and Cross-System Recommendations （IJCAI-18）
qq_32813967的博客
07-18 1902
跨域推荐第二弹，这篇文章有点萌。 上篇文章地址 https://blog.youkuaiyun.com/qq_32813967/article/details/81087973 目录 介绍 跨系统 CDR分类 迁移方法的细分 模型 模型变化 基准的计算1 基准的计算2 基准的解释 others 总结 介绍 说好的跨域推荐，跨系统--措手不及呀。跨系统说的是啥呢，我也不知道。 跨...
论文｜一种基于Embedding和Mapping的跨域推荐方法
Thinkgamer博客
04-20 1824
迁移学习（Transfer Learning）作为机器学习的一大分支，已经取得了长足的进步。在人工智能领域，无论是图像识别、NLP、搜索推荐都离不开迁移学习的身影。迁移学习的核心问题是找到源域和目标域的某种相似性，继而将已知的知识应用到目标域中。 迁移学习的一个核心要解决的问题是冷启动、数据稀疏性，当然其前提是同一个公司有不同的业务或者APP数据可以供不同部门进行使用和挖掘，比如阿里、腾讯、美团等，业务模型丰富，可以进行相应的迁移学习。 当迁移学习应用到推荐系统中时就被称为跨域推荐（Cross-Domain
坤哥笑侃跨域推荐（一） Cross-Domain Recommendation, An Embedding and Mapping Approach （IJCAI-17）
qq_32813967的博客
07-18 4747
这是本人看的第一篇跨域推荐的文章，刚接触这一领域，有所错误，请多指正。 目录 跨域分类 面临挑战 模型 实验对比 总结 跨域分类 正如文章一开始说，跨域推荐是解决推荐领域数据稀疏性（sparsity）的一种方法。紧接着，文章介绍了两种跨域的方式以及缺点：     1）非对称方式，利用源领域知识降低目标领域知识的稀疏性。这时源领域的知识在目标领域充当先验或正则化项的作用（不是我说的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值