《联邦学习实战》杨强 读书笔记九——联邦个性化推荐案例

最新推荐文章于 2025-09-28 03:14:52 发布
原创 最新推荐文章于 2025-09-28 03:14:52 发布 · 1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #边缘计算

本文介绍了传统集中式个性化推荐方法如矩阵分解和因子分解机，并探讨了如何利用联邦学习实现隐私保护的个性化推荐。在联邦学习框架下，通过矩阵分解和联邦因子分解机，不同机构可以在不共享用户数据的情况下协同训练模型，提高推荐精度并保障用户隐私。

目录

传统的集中式个性化推荐

矩阵分解

因子分解机

联邦个性化推荐

矩阵分解

联邦因子分解机

一般而言，收集的数据越多，对用户和推荐内容的了解就越全面和深入，推荐效果就越精准。

传统的集中式个性化推荐

矩阵分解

矩阵分解（MF），是最常用的推荐算法之一。我们将用户对物品的反馈用矩阵r表示，这个矩阵也被称为评分矩阵。将原始评分矩阵r分解为p和q，使得：

r=p\times q.

其中，r为m\times n，p（用户隐向量矩阵）的维度为m\times k，q（物品隐向量矩阵）的维度为k\times n，k是一个较小的数。

MF的优化函数如下：

\min_{p,q} \Sigma_{(i,j)}\left(r_{ij}- \langle p_i,q_j \rangle\right )+\lambda\|p\|^2_2+\mu\|q\|^2_2.

MF算法通过优化式（1）来填充和预测缺失的评分值，其中r_{ij}代表原始评分矩阵中用户

最低0.47元/天 解锁文章
隐私计算技术如何拯救AI原生应用伦理？联邦学习实战案例分享
AIGC应用创新大全的博客
09-22 857
当你刷短视频时被“精准推送”到刚和朋友聊过的商品，当医院用患者数据训练AI却因隐私泄露被告上法庭，当企业因不敢共享数据导致AI模型“营养不良”——AI原生应用的核心矛盾早已从“有没有数据”变成“能不能安全用数据”。隐私计算（Privacy-Preserving Computation）作为“数据可用不可见”的技术集合，正成为AI伦理的“救星”；而其中的联邦学习（Federated Learning），更是凭借“分布式训练+隐私保护”的特性，成为解决“数据孤岛”与“隐私合规”冲突的关键工具。
联邦学习与联邦数据库的结合：AI原生应用的数据治理
AI天才研究院
07-13 738
随着《个人信息保护法》《数据安全法》等法规落地，以及医疗、金融等敏感行业对数据本地化的强制要求，“数据不能出域”成为AI训练的新约束。传统“数据搬家”的集中式训练模式（把分散数据拉到中心服务器训练）已无法满足合规要求，而AI原生应用（如智能医疗诊断、银行反欺诈模型）又亟需跨机构、跨设备的协同数据能力。本文将聚焦“联邦学习”与“联邦数据库”的技术融合，探讨如何在不移动原始数据的前提下，实现AI模型的协同训练与数据的高效治理。
【阅读笔记】联邦学习实战——联邦个性化推荐案例
HERODING23的博客
03-19 5982
联邦学习实战——用FATE从零实现纵向线性回归前言1. 引言2. 传统的集中式个性化推荐2.1 矩阵分解2.2 因子分解机9.2 联邦矩阵分解9.2.1 算法详解 前言 FATE是微众银行开发的联邦学习平台，是全球首个工业级的联邦学习开源框架，在github上拥有4000stars，可谓是相当有名气的，该平台为联邦学习提供了完整的生态和社区支持，为联邦学习初学者提供了很好的环境，否则利用python从零开发，那将会是一件非常痛苦的事情。本篇博客内容涉及《联邦学习实战》第九章内容，使用的fate版本为1.6.
【阅读笔记】联邦学习实战——联邦学习视觉案例
HERODING23的博客
03-22 8290
联邦学习实战——联邦学习视觉案例前言1. 概述2. 案例描述3. 目标检测算法概述3.1 边框线与锚框3.2 交并比3.3 基于候选区域的目标检测算法3.4 单阶段目标检测4. 基于联邦学习的目标检测网络4.1 动机4.2 FedVision-联邦视觉产品5. 方法实现5.1 Flask-SocketIO基础参考链接 前言 FATE是微众银行开发的联邦学习平台，是全球首个工业级的联邦学习开源框架，在github上拥有近4000stars，可谓是相当有名气的，该平台为联邦学习提供了完整的生态和社区支持，为联邦
联邦学习实验
这里是萤石ym的学习路途，努力搬砖！
07-13 1246
配置文件# 客户端本地模型# 客户端ID# 客户端本地数据集# 按ID对训练集合的拆分# sampler定义从数据集中提取样本的策略这里使用交叉熵作为本地模型的损失函数，利用梯度下降求解并更新参数值# 客户端首先用服务器端下发的全局模型覆盖本地模型# 定义最优化函数器，用于本地模型训练# 本地训练模型# 数据加载到gpu# 梯度清0# 训练预测# 使用cross_entropy交叉熵计算损失函数# 反向传播# 更新参数# 计算训练后与训练前的差值# 定义构造函数。
个性化推荐典型任务与传统算法
马凡贺的博客
08-07 2101
典型任务和算法（模型） 1.相似匹配（基于内容） 1.1 标签匹配 1.2 LDA主题模型 2.评分预测 2.1.large scale 问题。为什么不直接进行回归预测呢？ 2.2.user or item based 协同过滤 以user-based协同过滤为例：找出与当前User i最相似的N个User，并根据N个User对Item的打分估计 i 对该Item的打分。相似度采...
联邦学习在视觉领域的应用，揭秘AI人工智能创新应用奖获奖案例
博文视点（北京）官方博客
05-24 872
联邦学习是如何应用在视觉领域的？ 本文会通过一个获得了2020年AAAI人工智能创新应用奖（也是第一个基于联邦学习的人工智能工业级奖项）的案例来向大家介绍！ 本案例是联邦学习在视觉、物联网、安防领域的实际应用，对分散在各地的摄像头数据，通过联邦学习，构建一个联邦分布式的训练网络，使摄像头数据不需要上传，就可以协同训练目标检测模型，这样一方面确保用户的隐私数据不会泄露，另一方面充分利用各参与方的训练数据，提升机器视觉模型的识别效果。 以下内容节选自《联邦学习实战（全彩）》一书！ --正文--.
《联邦学习实战》杨强 读书笔记八——联邦学习在金融保险领域的应用案例
IEEE802_11的博客
07-08 1908
本章将介绍两个案例，分别是基于纵向联邦的保险个性化定价案例和基于横向联邦的银行间反洗钱模型案例。 基于纵向联邦学习的保险个性化定价案例 案例描述 保险个性化定价，与其他个性化服务一样，需要平衡保险公司和客户之间的关系。一方面，消费者会根据自身的需求选择符合个人的产品；而另一方面，为了提高客户满意度，保险公司也需要具备扎实的数据洞察力基础。 但保险业的个性化定价却受到很多因素的制约，导致其模型的构建往往不准确，其中主要的难点在于数据层面。对保险进行个性化定价，需要结合每一位客户的特征属性，但是客户的数
领域偏见缓解创新：AI原生应用中的联邦学习应用
最新发布
SuperAGI2025
09-28 321
在AI原生应用（以AI为核心设计的软件）中，模型效果常因"领域偏见"（不同数据源特征分布差异）大幅下降：医院A的肿瘤检测模型在医院B可能误诊，电商平台的用户推荐系统换个城市就"水土不服"。本文聚焦这一痛点，深入解析联邦学习（Federated Learning）如何通过"数据不动模型动"的创新模式，在保护隐私的同时缓解领域偏见，推动AI原生应用从"单域专用"向"多域通用"进化。用奶茶店的故事引出领域偏见痛点；拆解联邦学习核心概念与运行原理；通过跨医院肿瘤检测实战演示技术落地；
干货 | 《联邦学习FATE入门与应用实战》第五课直播回顾！课件详情看这里
FedAI联邦学习的博客
03-26 974
FATE是全球首个工业级的联邦学习开源框架，旨在提供安全的计算框架来支持联邦 AI 生态，其在实践生产中有着丰富的应用。 这个3月，微众银行与VMware以及机器之心联合开展了主题为《联邦学习FATE入门与应用实战》的课程，用4周6节课的时间帮助大家在较短周期内完成联邦学习从学到用的全过程。 【联邦学习FATE课程第五期】FATE整体架构介绍与系统实践 以上为第五期课程《FATE...
联邦学习白皮书_v1.0.pdf
04-27
如何在满足数据隐私、安全和监管要求的前提下，设计一个机器学习框架，让人工智能 系统能够更加高效、准确的共同使用各自的数据，是当前人工智能发展的一个重要课题。我们倡议把研究的重点转移到如何解决数据孤岛的问题。我们提出一个满足隐私保护和数据安 全的一个可行的解决方案，叫做联邦学习。
CCF-微众银行-杨强-AI向善，数据孤岛和联邦学习.pdf
02-09
微众银行-杨强-AI向善，数据孤岛和联邦学习。转自CCF，网址：https://dl.ccf.org.cn/lecture/lectureDetail?id=4340567999891456
联邦学习-杨强1
08-04
背景回顾2016 年是人工智能在世界范围内真正星光闪耀的一年。伴随着 AlphaGo 接连战胜两位人类顶尖围棋职业选手，我们看到了人工智能迸发出的真正的巨大潜力
《联邦学习实战》杨强 读书笔记十七——联邦学习加速方法
IEEE802_11的博客
06-04 2164
如何在保证模型性能不下降的前提下，有效提升联邦学习的训练效率，成为当前联邦学习的一个研究热点问题。 模型计算和通信传输成为影响联邦学习效率的两大因素。 WFBP表示wait-free backpropagation；0ZMQ表示ZeroMQ，NCCL表示NVIDIA collective library。 通信效率的优化显得比计算性能的优化复杂和困难得多，因而从计算机系统的角度看，边缘端设备的算力水平在不断提高。但通信网络，一方面受网络带宽的影响另一方面由于联邦学习的客户端分布具有跨地域的特点，使
《联邦学习实战》杨强 读书笔记一——前言
IEEE802_11的博客
05-28 814
AI的力量来自大数据，在现实中能获取的往往是少量数据，例如： 在法律领域，获取一个完整的案例样本往往需要很多的时间和资源 在金融领域，在风控建模中，如果把反洗钱案例看成正样例，那么这也的正样例数据非常珍贵。 在医疗领域，对于罕见疾病，能获得的病例数据少之又少。 而在相关技术使用的过程中，一方面人工智能和大数据技术为人类的发展提供了光明的前景和技术保障；另一方面，人类自身的权益保护又限制了数据按照粗放方式进行简单的汇聚。 在这种背景下，联邦学习应运而生。联邦学习的目的是，不管在面对单个消费者的to C
《联邦学习实战—杨强》之使用Python从零开始实现一个简单的横向联邦学习模型
Waldocsdn的博客
11-29 6335
理解《联邦学习实战—杨强》使用Python从零开始实现一个简单的横向联邦学习模型
【阅读笔记】联邦学习实战——联邦学习攻防实战
HERODING23的博客
04-04 7979
联邦学习实战——联邦学习攻防实战前言1. 后门攻击1.1 问题定义1.2 后门攻击策略1.3 详细实现参考文献 前言 FATE是微众银行开发的联邦学习平台，是全球首个工业级的联邦学习开源框架，在github上拥有近4000stars，可谓是相当有名气的，该平台为联邦学习提供了完整的生态和社区支持，为联邦学习初学者提供了很好的环境，否则利用python从零开发，那将会是一件非常痛苦的事情。本篇博客内容涉及《联邦学习实战》第十五章内容，使用的fate版本为1.6.0，fate的安装已经在这篇博客中介绍，有需要的
《联邦学习实战》：从零开始通过联邦学习实现图像分类
weixin_44716083的博客
05-19 7027
从零开始通过联邦学习实现图像分类
《联邦学习实战》杨强 读书笔记十八——联邦学习与其他前沿技术
IEEE802_11的博客
06-04 3974
目录 联邦学习与Split Learning Split Learning设计模式 Split Learning与联邦学习的异同 联邦学习与边缘计算 边缘计算综述 联邦学习与边缘计算的异同点 联邦学习与Split Learning Split Learning的核心思想是将网络的结构进行拆分，每个设备只保留一部分网络结构，所有设备的子网络结构构成一个完整的网络模型。在训练过程中，不同的设备只对本地的网络结构进行前向或反向计算，并将计算结果传递给下一个设备。多个设备端通过联合网络层的中间.
《联邦学习实战》杨强 读书笔记完整版
03-18
### 关于《联邦学习实战》一书的详细解读 #### 联邦学习的核心概念 联邦学习是一种分布式机器学习技术，能够在保护数据隐私的前提下实现模型训练。书中提到，当多个参与者的数据特征相同时，可以通过横向联邦学习来增加训练样本的数量[^2]。这种模式被称为特征对齐的联邦学习（Feature-Aligned Federated Learning）。而纵向联邦学习则适用于不同参与者拥有不同的数据特征但部分重叠的情况。 #### 书籍结构概述 虽然未提供具体章节内容，但从已知资料可以推测，《联邦学习实战》可能涵盖了以下几个方面： 1. **基础理论**：介绍联邦学习的基本原理及其与其他分布式学习方法的区别。 2. **应用场景**：探讨联邦学习在金融、医疗、广告等多个行业的实际应用案例。 3. **算法设计**：深入讲解如何构建高效的联邦学习算法以及优化策略。 4. **安全机制**：分析保障数据隐私的技术手段，如差分隐私和同态加密等。 以下是基于上述理解的一个简化版总结： ```python class FederatedLearning: def __init__(self, type="horizontal"): self.type = type def train(self, data): if self.type == "horizontal": # 增加样本量的方式进行联合建模 result = sum(data.values()) / len(data) elif self.type == "vertical": # 结合不同维度的信息完成预测任务 features = list(set().union(*data.values())) result = {feature:0 for feature in features} return result ``` 此代码片段仅作为示意用途，并不代表真实实现逻辑。 #### 数据特性与实践技巧 对于希望深入了解该领域的人来说，除了掌握基本定义外还需要注意一些实用建议。例如，在执行过程中要特别关注通信成本控制问题；另外就是针对特定行业需求定制解决方案的重要性不可忽视。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

超威橘猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值