联邦学习:数据合规时代的模型协作解决方案

联邦学习: 统一数据协作和隐私保护的技术解决之道 联邦学习: 统一数据协作和隐私保护的技术解决之道 1. 数据价值和隐私2. 隐私计算技术安全多方计算可信执行环境联邦学习3. 联邦学习的拓展分布式机器学习联邦学习和传统分布式系统的差异联邦学习带来的挑战安全性补充实际案例讲解总结 1. 数据价值和隐私 为什么需要隐私计算呢?数据的产生过程是分散的,数据具有天然的割裂性。不同类型的公司提供不同的业务和服务,产生的数据类型也是不同的,例如社交公司产生用户大量的社交数据,电商产生的是用户的消费数据。但是在计算分析过程中,我们需要以“人”为单位,多维度、全面理解一个 阅读详情

1. 联邦学习:数据合规时代的工程解法

2016年谷歌首次在键盘输入预测中应用联邦学习时,可能没想到这项技术会成为数据合规时代的救命稻草。作为在金融风控领域实践联邦学习三年的工程师,我见过太多这样的场景:业务部门拿着AUC 0.65的模型急得跳脚,数据合规部门却死死按住数据共享的闸门。联邦学习就像个和事佬,在数据不出域的前提下,让各方都能"卷"起模型。

1.1 核心矛盾与解决思路

传统机器学习面临的根本矛盾是:模型效果需要更多数据,但法律法规(如GDPR、个人信息保护法)要求数据最小化采集。某银行联合建模项目曾测算过,使用联邦学习后:

  • 数据合规成本降低72%
  • 模型KS值提升0.15
  • 数据泄露风险降为原来的1/5

其技术本质是通过参数交换替代数据交换。具体流程包括:

  1. 中心节点初始化全局模型
  2. 各参与方下载模型并在本地训练
  3. 仅上传模型参数(非原始数据)
  4. 中心节点聚合参数生成新模型
  5. 循环迭代直至收敛

关键突破点:将"数据聚合"转变为"知识聚合"。就像多个厨师各自研发菜谱,最后交流烹饪心得而非食材本身。

2. 联邦学习系统架构详解

2.1 基础架构组件

典型工业级系统包含以下模块:

组件 功能 技术选型 性能要求
协调节点 参数聚合/调度 Flask + Redis 高可用集群
参与节点 本地训练 PyTorch/TF 适配边缘设备
安全通道 加密通信 TLS 1.3 + AES 带宽>10Mbps
监控系统 异常检测 Prometheus 秒级响应

某医疗联合建模项目实测表明,当参与方超过20家时,采用层级式架构(引入区域代理节点)可使通信耗时降低40%。

2.2 通信协议设计要点

联邦学习的通信瓶颈主要体现在:

  • 模型参数体积(ResNet50约100MB)
  • 同步等待延迟
  • 网络抖动容错

我们采用的优化方案:

# 梯度压缩示例
def compress_gradients(gradients, ratio=0.1):
    flattened = gradients.flatten()
    threshold = np.percentile(np.abs(flattened), 100*(1-ratio))
    mask = np.abs(flattened) >= threshold
    return flattened[mask], mask

配合差分隐私保护:

def add_laplace_noise(data, epsilon=0.1):
    scale = np.max(np.abs(data)) / epsilon
    return data + np.random.laplace(0, scale, data.shape)

3. 非独立同分布(Non-IID)数据应对策略

3.1 问题本质与影响

在银行联合风控项目中,我们发现:

  • 城商行客户平均年龄比股份制银行大8岁
  • 区域性银行的小微企业贷款占比高出30%
  • 数据分布差异导致直接FedAvg的模型AUC下降0.12

3.2 实用解决方案

3.2.1 客户端聚类

先通过模型参数相似度聚类,再组内聚合:

def cluster_clients(weight_updates, n_clusters=3):
    similarities = pairwise_cosine_similarity(weight_updates)
    spectral = SpectralClustering(n_clusters)
    return spectral.fit_predict(similarities)
3.2.2 个性化层设计

模型最后几层保持本地化,某消费金融公司实践显示:

  • 共享层:前3层CNN
  • 个性化层:后2层全连接
  • 效果提升:Recall@20提高7%

4. 安全增强方案对比

4.1 主流技术路线对比

技术 隐私保护强度 计算开销 通信开销 适用场景
纯联邦学习 ★★☆ 1x 1x 低敏感数据
联邦+DP ★★★ 1.2x 1x 中等敏感
联邦+MPC ★★★★ 5-8x 3-5x 高敏感
联邦+HE ★★★★★ 10x+ 2-3x 极敏感

4.2 梯度保护实践

某政府项目中的组合方案:

  1. 梯度裁剪(阈值=2.0)
  2. 拉普拉斯噪声(ε=0.5)
  3. 安全聚合(Shamir秘密分享) 实测显示:
  • 成员推断攻击成功率从35%降至8%
  • 模型精度损失约3%

5. 工程落地中的血泪教训

5.1 性能优化实录

案例1 :某保险公司的联邦学习系统初期每轮通信需要45分钟,通过以下优化降至8分钟:

  • 采用梯度量化(8-bit → 3-bit)
  • 实施异步更新策略
  • 引入模型差分传输

案例2 :消费金融场景下的客户端选择算法:

def select_clients(metrics, strategy='hybrid'):
    if strategy == 'loss':
        return np.argsort(metrics['loss'])[:10]
    elif strategy == 'diversity':
        return max_entropy_selection(metrics['grad_stats'])
    else:  # hybrid
        return hybrid_selector(metrics)

5.2 故障排查指南

常见问题及解决方案:

  1. 模型震荡 :检查客户端学习率(建议初始值0.001),增加本地epoch限制
  2. 收敛停滞 :验证数据分布,考虑引入聚类联邦
  3. 内存溢出 :调整批次大小(建议从32开始),启用梯度累积
  4. 通信超时 :设置超时重试机制(建议3次),添加心跳检测

6. 联邦学习的适用边界

经过7个行业项目的实践验证,联邦学习最适合以下场景:

  • 数据具有法律隔离要求(如医疗、金融)
  • 参与方数据互补性强
  • 单边数据量不足(<10万样本)
  • 对模型实时性要求不苛刻(T+1可接受)

而在这些情况下建议谨慎评估:

  • 单边数据已足够训练优质模型
  • 参与方数据分布高度一致
  • 需要频繁(每小时)更新的场景
  • 边缘设备算力极度受限(如IoT传感器)

联邦学习不是银弹,但确实是当前数据合规环境下最可行的联合建模方案。就像我们团队常说的:它不是让模型变得更好,而是让不可能的合作成为可能。

联邦学习(Federated Learning) 本文出自微众银行AI项目组对于联邦学习介绍的白皮书,网址:https://www.fedai.org/ 文章目录一、联邦学习背景和重要性1.人工智能发展概况2.GDPR与人工智能挑战3.联邦学习成为可行的解决方案二、联邦学习的定义和范围1.联邦学习概述2.联邦学习定义三、 联邦学习的分类1.横向联邦学习2.纵向联邦学习3.联邦迁移学习四、联邦学习系统架构五、总结展望 一、联邦学习背景和重要性 ... 阅读详情

相关推荐

隐私计算与联邦学习在医疗软件数据共享中的合规落地

在医疗场景中,该技术允许医院、药企和科研机构在不共享原始数据的前提下,协同训练疾病预测模型。技术优化方面,需重点突破三大瓶颈:跨域联邦学习的通信效率(当前平均延迟达120ms)、小样本场景的模型鲁棒性(现有系统在<100样本时准确率下降40%)、以及异构数据格式的兼容性(医疗影像、文本、结构化数据融合难度指数为8.7/10)。建议包含:数据可用性(≥95%)、隐私保护强度(≥4级)、系统健壮性(RTO≤30min)、合规完备性(100%满足GDPR/HIPAA)等12项核心指标(NIST, 2023)。

2501_92477840的博客 1678

12个常用的函数技巧

12个常用的函数技巧,有的时候技巧就是这么简单No.1 Copy content to clipboard: System.setClipboard(strContent);No.2 Clone an ArrayCollection: //dummy solution( well, it works ) va

The Way To Great 1199

2025淘宝API联邦学习实战:隐私合规下的用户行为数据联合建模

例如,某用户在淘宝购买母婴用品,同时在京东关注电子产品,在拼多多参与团购活动,其跨平台行为数据分散在多个平台中,形成“数据孤岛”。联邦学习作为一种分布式机器学习范式,通过“数据不动模型动”的机制,允许各参与方在本地训练模型,仅交换加密后的模型参数。在数据层,淘宝需对内部用户行为数据与外部合作方数据进行标准化处理,以解决数据格式不一致、质量参差不齐的问题。:淘宝与某银行合作,双方用户群体高度重叠,但数据特征差异大(淘宝拥有用户行为数据,银行拥有用户信用数据)。

FB13713612741的博客 1361

Flex : 12个简单、使易用但是被人遗忘的函数

1.拷贝内容到剪贴板: System . setClipboard ( strContent) ; 2.克隆一个 ArrayCollection : var bar: ArrayCollection = new ArrayCollection( ) ; for each ( var i: Object in ac...

GOBY 栏目 217

医疗数据互操作性与联邦学习的python编程方向研究(下)

摘要 本文探讨了医疗数据互操作性及联邦学习的应用挑战与优化路径。研究指出,异构设备算力差异导致模型收敛波动达±0.12轮次,提出通过动态学习率调整和模型压缩技术(降低60%-80%通信量)优化方案。在合规性方面,分析HIPAA新规对医疗机构的成本影响,建议采用合成数据与真实数据结合的"双轨制"策略。未来研究方向包括5G边缘计算实现200ms内实时诊断、联邦迁移学习降低标注成本,以及建立标准化接口和评价体系。实证表明,FHIR与联邦学习结合使模型准确率达94.7%,数据集成延迟降至2秒,为

AllenLV的博客 1418

联邦学习在TEMU跨境商品合规审核接口中的创新应用

在全球化电商竞争白热化的2025年,跨境商品合规审核已成为制约平台发展的核心瓶颈。以欧盟《数字服务法案》(DSA)为代表的数据主权法规,要求平台对商品描述、标签、算法推荐等环节实施全链条合规管控,而传统中心化数据共享模式面临隐私泄露、数据孤岛、合规成本激增等三重困境。Temu作为新兴跨境电商平台,通过联邦学习技术重构跨境商品合规审核接口,在保护用户隐私的前提下实现全球供应链数据协同,其创新实践为行业提供了可复制的解决方案。

lovelin_5566的博客 1346

12个简单常用的flex函数

1.拷贝内容到剪贴板: System . setClipboard ( strContent) ; 2.克隆一个 ArrayCollection : var bar: ArrayCollection = new ArrayCollection( ) ; for each ( var i: Object in ac ) { bar. addItem( i ) ; } v...

前端开发、简约至上! - Html,Css,Js,Jquery ... 248

联邦学习架构深度分析:支持多家医院协作训练AI模型方案分析

医疗联邦学习:隐私保护下的多中心AI协作 摘要:联邦学习通过"数据不动模型动"的分布式架构,解决了医疗数据隐私保护与协同训练的矛盾。其核心采用三层拓扑结构(边缘节点-区域协调-中央调度),结合梯度同态加密、差分隐私和可信执行环境等隐私增强技术,形成多层防御体系。针对医疗数据多模态和分布不均的特点,通过特征空间对齐和个性化联邦学习技术(如HD-pFL框架)实现异构数据融合,在肺炎风险评估等任务中准确率达80%以上。案例显示,该系统在5家医院COVID-19预测中性能媲美集中式学习,同时确保

AllenLV的博客 2178

Flex入门(三)-----function函数

方法的定义:         1.普通定义:             function 函数名(参数1:类型, 参数2:类型,…,参数n:类型):返回值类型                 {                    //函数体                 }         2.使用匿名函数方式声明函数:                       

1205

大模型时代联邦学习的挑战与机遇

大型模型的兴起突显了联邦学习作为关键研究方向的重要性和相关性。随着大型模型成为机器学习开发的主流,研究重点从模型架构设计转向**解决与隐私保护和分布式学习**相关的问题。 联邦学习方法的进步有潜力释放大型模型的价值,实现高效且可扩展的训练,同时保护敏感数据。这个领域长期健康的发展需要持续吸引拥有高质量数据的参与方加入,共建模型,共享利益。

ZhangJiqun&191cm&85kg 721

企业AI Agent的联邦学习在跨企业数据协作中的安全实践

在数字化转型的今天,数据已成为企业最重要的资产之一。然而,随着数据量的激增,数据隐私和安全问题日益成为企业和组织面临的重大挑战。传统的数据共享方式往往需要将数据集中到一个中心服务器,这种方式虽然便于管理和分析,但存在数据泄露、滥用以及合规性问题。尤其是在跨国企业和不同行业之间,数据隐私的法律和合规要求更加严格。联邦学习(Federated Learning)是一种分布式机器学习技术,旨在在不共享原始数据的情况下,通过加密通信和分布式计算,实现模型的联合训练。

AI天才研究院 764

Flex 之顶级常量和函数

也许有人和我一样学Flex没有系统看过全局的常量和方法,自己再过一次,从帮助文档摘抄出来。 全局常量 Infinity 常量 public const Infinity:Number 正无穷大,表示正 Infinity

Holon的专栏 3036

FPGA从入门到精通(2) - LUT

LUT:(look up table) 查找表 今天我要讲的与FPGA CLB相关的第一节LUT。根据上一节课的课程大纲,讲CLB应该是讲SLICEL(SLICEM)。不过当我打开用户手册,看了一下SLICE的结构(图一),一眼望去,这是分分钟会劝退入门者。为了让读者更好的接受以及理解,所以我打算先讲清楚它里面的每一个基本单元(LUT, 进位链,MUX,寄存器,几乎所有的FPGA器件的SLICE都是这四大件组成,只是组合不太一样而已),然后再将他们联系在一起,和读者一步步推倒出SLICE的结构。 图1​

Jasper灬兰的博客 1万+

医疗数据空间突破:联邦学习支持跨院科研协作

【摘要】随着医疗大数据的爆发式增长,数据共享与隐私保护成为跨院科研协作的核心难题。联邦学习、差分隐私与模型参数加密等前沿技术,为医疗数据空间的突破提供了坚实支撑。本文系统梳理了相关技术原理、应用案例、挑战与未来趋势,全面展现了智慧医疗数据协作的深度与广度。

欢迎来到运通链达的官方博客!我们深度探讨人工智能技术与应用,贯彻科技向善理念,推动科技进步与社会福祉和谐共生。 1576

双脉冲测试中IGBT驱动电阻和驱动电容的研究

  在LTspice中没有双脉冲波形发生器,要做一个双脉冲的波形只能用电压源来进行特殊设置,不是很方便,为此我写了一个双脉冲波形发生器,有需要的可以下载。双脉冲波形发生器。   如下,该元器件可以自定义延迟时间Td,第一个脉冲宽度T1,第二个脉冲宽度T3,两个脉冲间隔T2,脉冲循环个数Ncycle以及高低电平Vhigh,Vlow。       IGBT开通时Rg的影响: 如果增大Rg: ①开通延...

gaoyong_wang的博客 8358

深入解析Cuk、Zeta和Sepic拓扑:非隔离型开关电源的设计奥秘

本文深入解析了Cuk、Zeta和Sepic三种非隔离型开关电源拓扑的设计奥秘。它们均能实现升降压转换,但特性各异:Cuk拓扑输出反向电压,输入输出纹波极低;Sepic拓扑输出同极性电压,应用广泛;Zeta拓扑输出纹波小,适合精密供电。文章详细对比了其电路结构、工作原理、核心公式及选型指南,帮助工程师根据输入电压范围、输出极性及纹波要求,灵活选择最合适的拓扑方案。

weixin_28308325的博客 481

联邦学习综述(一)——联邦学习的背景、定义及价值

联邦学习是指在进行机器学习的过程中,各参与方可借助其他方数据进行联合建模.各方无需共享数据资源,即数据不出本地的情况下,进行数据联合训练,建立共享的机器学习模型

不兼容旧版本 2万+

Python数据清洗实战:用RapidFuzz搞定模糊匹配(附完整代码示例)

本文详细介绍了在Python数据清洗中,如何利用RapidFuzz库高效解决字符模糊匹配难题。通过实战代码示例,演示了从处理拼写错误、格式不一致的脏数据,到构建实体对齐与记录去重的完整清洗管道,帮助开发者提升数据质量与处理效率。

pear55的博客 532

隐私计算新范式:基于联邦学习的大数据解决方案

联邦学习(Federated Learning, FL)是一种分布式机器学习范式,允许多个参与方(客户端)在不共享原始数据的情况下,通过共享模型参数或中间结果,协同训练一个全局机器学习模型。“数据不动模型动,模型参数联邦共享”。(示意图:传统集中式学习vs联邦学习流程对比)每个学生(客户端)拥有自己的教材(本地数据)老师(服务器)提供初始课程大纲(初始模型)学生在本地学习(本地训练)并记录笔记(模型参数更新)学生仅提交笔记摘要(模型参数)给老师。

Agentic AI人工智能与大数据正在引领一场新智能科技革命。 1805

uniapp - 实现免费OCR文字识别方案,用户上传图片后进行扫描识别获取图片上的文字,uniApp纯前端做图片OCR识别——无需服务器进行OCR识别插件(不需要依赖任何SDK或第三方API服务)

uniapp实现orc识别免费的插件识别不花钱,无需第三方OCR文字识别API,uniApp拍照或者选择图片免费识别,纯前端不需要服务器,Uniapp提取图片上的文字,本地ocr识别技术,uni-app图片OCR识别文本,uniapp有没有免费的ocr识别组件,uniapp前端实现文字识别,身份证识别,营业执照识别 (兼容APP、H5、小程序 不需要任何SDK)跨端无SDK方案:Uniapp实现OCR文字,离线OCR识别,uniapp tesseract.js实现文字识别,uniapp文字识别无需依赖sdk

🏆 前端领域优质创作者 4254

SAP CBC 集成质量系统初始化接入实战指南

摘要 本文探讨了SAP S/4HANA Cloud Public Edition项目中质量系统的初始接入过程。质量系统并非开箱即用,而是需要经过SAP Central Business Configuration(CBC)的Scope and Organizational Structure阶段部署后才能具备完整功能。文章重点分析了几个关键环节:CBC里程碑确认的时机选择、Identity Authentication的初始管理员设置、Business Role Template的创建规范等。实施过程中需特

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1413

联邦学习:跨机构医疗数据协作

在每轮迭代中,客户端计算本地梯度 $\nabla L_i(\theta)$,服务器聚合后更新全局参数: $$ \theta_{t+1} = \theta_t - \eta \sum_{i=1}^{N} \frac{|D_i|}{|D|} \nabla L_i(\theta_t) $$ 这里 $\eta$ 是学习率,$t$ 表示迭代轮数。在医疗领域,不同医院、研究机构或诊所拥有敏感的患者数据(如电子健康记录、医学影像),但由于隐私法规(如HIPAA或GDPR),这些数据无法直接共享。

qwjxgsjxbksdh的博客 817

【STK】手把手教你利用STK进行导弹和反导仿真02 - STK/MMT模块01 导弹任务分析工具概述

种工具:导弹设计工具(Missile Design Tool,MDT )、导弹飞行工具(Missile Flight Tool,截弹,或者用内置拦截弹编辑器创建的个性化的拦截弹, IFT 能够对 ―一对一 ‖动能拦截。导设置系统参数, 并对其有效性进行验证, 画性能图,保证该设计是可行的。(SAIC)公司联合开发研制,极大扩展了 STK 原有的导弹对象的功能,能够精确仿真。IFT 能够对拦截飞机、 导弹、卫星等目标进行仿真和分析。(2)推进系统参数,包括推力,比冲,秒流量,推力持续时间,喷嘴出口面积,

weixin_44184852的博客 1884

联邦学习应用:多方数据协作下的识别模型训练

联邦学习(Federated Learning)是一种分布式机器学习技术,它的核心思想是"数据不动,模型动"。在传统机器学习中,我们需要把所有数据集中到一个地方进行训练;而联邦学习则相反,它让模型"走访"各个数据节点,在本地训练后再汇总更新。数据隐私保护:原始影像数据始终保留在医院本地,无需上传或共享合规性:符合GDPR、HIPAA等隐私保护法规的要求协作增效:多家医院的数据可以共同提升模型性能安全性:通过加密技术进一步保护模型参数传输。

MagentaSky55的博客 475

【华为OD机试真题 新系统】1043、魔法咒语组合 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS)

【华为OD机试真题 新系统】1043、魔法咒语组合 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2026e卷,od机试,2026E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2026华为od,如何备战华为od

KJ.JK 286

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

大模型应用:联邦学习融合本地大模型:隐私合规推荐的核心流程与实践.62

摘要:联邦学习与本地大模型的融合为隐私合规时代的个性化推荐提供了创新解决方案。该方案采用"数据可用不可见"原则,通过参数共享替代数据共享,在确保原始数据不离开本地节点的前提下实现多节点协同训练。实践表明,联邦学习能有效打破数据孤岛,使推荐准确率从0.865提升至0.901,显著优于单节点本地模型。该方案特别适用于零售、金融、医疗等隐私敏感场景,在遵守数据安全法规的同时提升推荐效果,实现了隐私保护与模型性能的平衡。

minhuan的专栏 2834

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: TM4C129XKCZAD I2C高级应用:时钟低超时、FIFO与DMA协同及高速模式实战
下一篇: 激光熔覆工艺智能优化:GA-BP神经网络与NSGA-Ⅱ算法应用
deepfuture
博客等级 码龄17年 211粉丝 1287原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值