文献阅读分享FedNews：联邦学习下的新闻推荐模型研究

📈 研究背景

在信息爆炸的时代，新闻推荐系统（NRS）应运而生，旨在帮助用户从海量新闻中筛选出感兴趣的内容。但目前的NRS大多依赖集中存储用户行为数据来训练模型，这无疑给用户隐私带来了巨大风险。保护用户隐私，同时实现精准推荐，成了亟待解决的问题。🔍

🛠️ 相关工作

• 联邦学习（Federated Learning）：作为一种分布式机器学习技术，联邦学习允许在本地设备上进行模型训练，避免了数据集中存储带来的隐私和安全问题。用户的行为数据（如点击、跳过等）可作为标记数据用于训练，提升推荐系统的性能和个性化程度。📈

• 本地差分隐私（Local Differential Privacy, LDP）：LDP通过在设备上引入随机化机制来保护个人隐私，不依赖于集中处理，即使攻击者获取了数据，也无法准确推断出个体信息。🛡️

🎯 创新点

这篇论文提出了一个名为FedNews的框架，基于联邦学习和本地差分隐私技术，实现了在保护用户隐私的前提下训练新闻推荐模型。fedNews框架通过在用户设备上本地存储行为数据，避免了数据上传到服务器，同时利用大量用户设备协同训练模型，显著提升了隐私保护水平。🌟

🧩 方法介绍

📊 新闻模型（News Model）

新闻模型的目标是构建新闻内容的表示。它通过交叉选择编码（cross-selective encoding）和交叉注意力编码（cross-attention coding）两个主要过程来实现。新闻标题和内容首先被转换为语义词嵌入，然后通过双向LSTM网络提取特征，生成语义记忆向量。接下来，通过门控交叉选择网络实现标题和内容之间的语义交互，最终生成新闻表示向量。📈

👤 用户模型（User Model）

用户模型分析用户表示以捕捉其独特兴趣。它结合了多头自注意力网络和注意力池化网络，从用户的历史行为中提取信息，增强长期兴趣建模。对于短期兴趣，使用GRU网络分析最近的行为和模式。最后，通过注意力网络将用户的长期和短期兴趣嵌入合并，生成统一的用户嵌入向量。👤

🔄 FedNews框架

在FedNews框架中，用户在新闻平台上的行为数据保留在个人设备上，而不是上传到中央服务器。服务器维护每个客户端的模型副本，并在每次迭代中随机选择一部分用户，将当前的新闻推荐模型发送给他们。用户设备计算本地模型梯度，并通过LDP技术引入随机性，然后将随机化后的梯度上传到服务器。服务器聚合这些梯度以更新全局模型，并将更新后的模型分发回用户设备，用于本地模型更新。🔄

📊 实验

实验使用了MIND数据集，这是一个包含真实MSN新闻文章和匿名用户点击日志的大型数据集。实验结果表明，FedNews在新闻推荐性能上优于多种现有的推荐方法，同时在保护用户隐私方面表现出色。📈

🎯 创新点总结

• 隐私保护：通过在用户设备上本地存储数据和应用LDP技术，显著降低了隐私泄露风险。🛡️

• 模型性能：尽管引入了隐私保护机制，但FedNews在推荐准确性上仍与传统方法相当，证明了其在隐私和性能之间取得了良好的平衡。🌟