联邦计算:不暴露真实数据如何完成合作建模?

M2.7智能体协作协议:实现隐式状态继承与自我进化的实战架构 智能体(Agent)是当前AI工程化落地的核心范式,其本质是将大模型能力封装为可调度、可组合、可审计的自主单元。理解Agent需从基础原理出发:它依赖结构化输入输出、上下文感知与任务闭环机制;技术价值在于打破Prompt硬编码瓶颈,通过原生协作协议实现状态一致性和错误可追溯性;典型应用场景覆盖金融风控、政务审批、工业质检等强流程、高合规要求领域。MiniMax M2.7的关键突破在于将隐式状态继承和自我进化能力深度融入模型架构,而非依赖外部框架编排——前者解决多Agent间语义锚点自动对齐问题,后者通过元认 阅读详情

导语 | 在金融场景下,银行等机构有强烈愿望和其他数据拥有方合作建模,但出于商业和合规方面的考虑,又不愿共享核心数据,导致行业内大规模数据共享迟迟无法推动。本文将从经典警匪影片情节出发,从技术角度探讨如何解决这一困境,希望与大家一同交流。

文章作者:王礼斌,腾讯云大数据研发工程师。

一、引言

银行等金融机构拥有用户历史行为数据,例如是否违约诈骗等,但缺乏数据去对新用户进行判断。而运营商、卡组织(如银联、VISA)等拥有大量数据的机构,有意愿跟金融机构合作建模。

但是,因为金融机构与数据拥有方都有商业保密和政策合规的需要,因此无法把数据给对方来执行传统建模程序。

针对这一现象,腾讯神盾-联邦计算,把两个最常用的算法,梯度提升树(GBDT)和逻辑回归(LR)的计算过程进行重新组织。

将其中部分环节使用同态加密进行改造,从而做到在双方数据都不需要给对方的情况下也能合作建模。解决了金融行业既需要数据合作来改善业务,但同时又必须对数据保密这一矛盾。

二、同态加密与机器学习的结合

1. 互不信任,但需要相互合作

笔者近来观看了一部经典香港警匪片——《线人》,该电影讲述了张家辉扮演的刑事情报科督察李沧东与线人收取情报,最终破获案件的惊险过程。

抛开电影场景下险象环生、步步惊心的剧情,其本质跟引言处提到的困境有异曲同工之处,那就是在互不信任,但又需要互相合作的情况下,如何兼顾双方的权益。

下文将以电影中的情景出发,解析在信息不对称的场景下,联邦算法的信息加密与解密原理。(注:本文所有关于警匪博弈内容,仅限对电影剧情本身的讨论)。

如果你也喜欢看警匪片,可能对以下经典的情节印象深刻:帅气的探长对案件束手无策,要找凶手如大海捞针,于是偷偷联系上了线人。这线人混迹江湖多年,三教九流认识一大票,掌握了不少小混混的信息,以此换取情报费。

例如,辖区发生了劫杀案,线人能提供辖区内小混混们最近买毒品的数量,探长就能优先去调查那些买毒品多,手头紧,更容易起歪念去打劫生财的人。

可探长并不知道线人手上的情报是否真实,所以需要先打探个虚实。同时,线人也担心信息提供出去就收不到钱了,毕竟也不是合法生意,因此双方往往构成僵局。

           

电影《线人》截图

2. 用技术打破僵局:同态加密

电影中,警探和线人都有自己的立场,在情报收取过程中,也因为立场的对立和信息传达的矛盾导致了一些无法挽回的严重后果。但如果从技术角度来看,信息交换本不必如此麻烦。

假如探长不但查案了得,还精通密码学和统计学,他就可以把问题解决得更加优雅一些:先让线人把小混混们按照过往购毒量分成高低两组,他自己也根据过往的档案把小混混们归类为犯案者和守法者。

如果线人手上信息可靠,那高低两组的犯案者比例应当明显地不同,高购毒量一组犯案占比更大。

回顾一下我们的场景限制,线人并不愿意把信息直接给探长,探长更不能把信息直接给线人(不能把答案供出去了),于是探长使用了同态加密技术。

所谓同态加密是什么呢?我们把原来人能看懂的有意义的信息叫做明文(例如犯案者和守法者标记),密文就是把明文经过加密后得到的,人看上去没有意义的信息。这个同态加密妙就妙在,把密文相加后再解密的结果,和直接对明文相加的结果是一样的。

同态加密的基本性质

首先我们来想一下,不用密码的情况下,我们是怎样去计算两组人的犯罪者比例差异的呢?

我们会去数一个组里有总共有多少人,然后数里面有多少个犯罪者。如果是犯罪者,那就是犯罪者总数+1,如果不是犯罪者,那就是犯案者总数+0。

所以,我们把犯罪者标记为1,不是犯罪者标记为0,把这些1和0全部加总在一起,就知道了犯罪者总数,然后除以某组的总人数就知道了犯罪者比例。

我们用同态加密把上面这些1和0掩藏成线人看上去没有意义的信息,既能算出每一个分组犯罪者比例,同时线人也不知道探长手上拿着的具体是什么信息。

总结起来就是,探长先把犯案者记为1,守法者记为0,然后把所有的1和0做同态加密,发给线人。后者则按探长指示把高低两组小混混的密文分别求和,然后把加总好的两组“密文的和”发还给探长。

探长经过解密,得到值就是各组犯案者的数量,除以每组的人数,就可以知道两组当中犯案者的比例。如果有明显差异,就可以放心给钱,得到最有可能犯罪的小混混清单了。

           

在这个过程中,探长的信息(谁是犯案者,谁是守法者)没有泄漏给线人,线人只得到了密文。线人手上的信息(哪些小混混买毒买得多)也没有泄漏给探长,探长只知道两组小混混的犯案者比例而并不知道每一组有哪些小混混。

通过同态加密进行线索区分度验证

3. 现实生活中:风控和骗徒

上述场景看似有点和现实生活脱节,但真实世界当中这样的故事每天都在发生。

现实中会统计学的“探长们”不在警察局,而是在银行和贷款的公司风控部门当中,一般被称为金融风控分析师。而现实中的线人,则是拥有银行所没有数据的其它组织,例如电信运营商(如移动、联通),卡组织(如银联、VISA)或者政府部门等。

风控部门需要去识别,哪些贷款申请人实际上是骗徒或者老赖,把他们剔除掉,以免银行的钱被骗走。

在这个过程中,由于银行和数据提供方都需要保护自己的客户隐私和商业机密,所以也跟探长与线人一样,需要在不泄漏真实数据的情况下共同完成这个识别工作。

而同态加密正是用到的其中一种方法,腾讯神盾-联邦计算把同态加密和机器学习算法结合起来,就成了当前最常见的联邦学习算法。

银行和数据拥有方,既要合作,又要保密

神盾-联邦计算通过提供一站式联邦学习平台,在金融机构和数据提供方合作当中作为联通数据的桥梁,分析师们无需关注算法底层密码学和机器学习改造的底层细节,鼠标简单点击即可完成联邦机器学习建模流程,同时又能确保双方数据都不泄漏,保障数据安全。

三、联邦梯度提升树和联邦逻辑回归

基于前文所述,通过同态加密来验证数据区分能力的基本原理,神盾-联邦计算对最常用的决策树类算法梯度提升树(XGBoost/GBDT)和线性模型类算法逻辑回归(Logistic Regression)分别进行了改造。下面我们来看看改造是怎么进行的。

1. 联邦决策树算法:多个线索组合起来

让我们再次回到探长与线人的故事中来。线人现在只提供了一个线索,也就是小混混们的购毒量,并且高低两组的犯案者比例确实是有明显差异的。

但是探长还不是很满意,因为高低低组的犯案者比例分别是:30%/5%,也就是说即使拿到购毒量大的小混混清单,里面也有70%不会犯罪。

探长想再精确一点,一抓一个准,让线人再提供一个线索。线人挠挠头说:行,我还知道他们最近打零工的收入。探长大喜,但还是要留个心眼,先验证一下吧。

按照之前使用同态加密的办法,探长让线人根据购毒量和零工收入两个线索组合起来,分成了4个组,然后按照之前用同态加密的方法进行验证分别得到了四组小混混的犯案者比例:10%/5%/80%/30%。

购毒量大且零工收入低的这组混混,有80%可能犯罪,近乎能一抓一准。探长满意了。

多条线索组合计算更精确的犯罪率

这里其实还遗留了几个问题:

第一,购毒量和零工收入有效,这是探长根据经验所得知的。在线人所了解的诸多线索当中,如果没有探长的经验,就只能用机器,通过上述同态加密的方法逐个去试,从而找到两组犯案者比例差异最大的线索,这里称为联邦决策树当中的变量搜索。

第二,这里把小混混划分成高低两组,但到底多少是高,多少是低,划分点在哪其实也需要机器一个个可能性去试,这里称为联邦决策树中的分裂点搜索。

第三,现在只是两个线索的两两组合,共有四个组合。如果有1000条线索选三个来组合呢,那就有1000X1000X1000,即一百万种组合需要计算的,这计算量太多了,需要算很久很久。

有个取巧的方法是,先做变量搜索找到最有区分度的第一层变量,然后固定住第一层(如购毒量)再去搜索第二层变量。如此类推,这样就只需要1000+1000X2+1000X4(第一层1节点,第二层2节点,第三层四节点),即7000种组合需要计算,比100万少多了。

这种办法叫做贪心搜索,就是每一层最佳的变量和分裂点选定后就不变了。

总结来看,通过同态加密的方法进行变量和分裂点的贪心搜索,在找到最能区分犯案者和守法者的条件组合的同时,保护探长和线人的信息都不透露给对方。这就是联邦决策树算法。

在现实中,如果每一个变量和每一个分裂点都完整进行同态加密,发送,求和,返回,解密,计算比例六步这整个流程,就需要在探长和线人中往返很多次,速度难以接受。

由于我们使用贪心算法,所以在探长发送完同态密文给线人后,让线人把所有线索按照所有可能分割点都先统一进行求和后再返回给探长一次性解密,探长再从中选出比例差异最大的变量和分割点。这个所有线索按照所有可能分割点都先统一进行求和,得到的结果叫做同态密文梯度直方图。

联邦决策树算法

上述就是联邦决策树的建模过程,如果我们再往前一步,把多棵树联合起来,就能得到不同的集成模型(Ensemble)用以提升效果。

例如使用相同一份梯度同态密文多次反复对特征和样本取样来建立多棵决策树,然后把多棵决策树的结果取平均,就有了联邦随机森林模型(Random Forest)。

另外一个集成方向是每建立一棵树就用这个树的结果来更新梯度密文,后一棵树以上一棵树的结果为基础来训练,这就有了梯度提升树(GBDT),其中著名的实现就有XGBoost等。

2. 联邦逻辑回归:另一种可能性

神盾-联邦计算改造了的另一个常用算法则是逻辑回归。

上文提到过,同态加密的特性是明文加密之后求和再解密,等价于明文直接求和。把这条性质衍生一下,那明文乘以密文再加密,等价于明文乘以明文。

例如 3*密文,其实就是等于 密文+密文+密文。我们利用这个性质可以帮助探长和线人构建另一种模型:逻辑回归。

同态加密基本性质的衍生

前文所述的通过条件组合,如购毒量高且零工收入高,这种方式来组合多个线索,就得到了树模型。

那能否换一种线索组合的方式,例如:犯案可能性 = 购毒量线索的权重x购毒量+零工收入的权重x零工收入。我们把这样的组合方式称为线性模型,其中最常用的就是逻辑回归。由于这种模型是把多个线索的得分加起来预测犯案可能性,所以又叫做评分卡。

这里联邦算法唯一需要做的事便是确定每一项线索的权重,这里我们可以用瞎猜的办法。线人随便指定权重,计算得出每个人的犯案可能性,然后发给探长,探长再答复线人猜得有多准。

当然,这样子不知道要到何年何月才能猜出足够好的一组权重了,所以科学家想出了很多让这个猜测过程更快的办法,其中一种就叫做梯度下降法。

逻辑回归

线人先瞎猜一组权重,然后告诉探长结果。探长想了想,如果我直接回复他哪些小混混猜准了,哪些没猜准,他多猜几次不就把我的档案资料摸清楚了,所以不能直接给他。我能不能直接告诉他每一个权重是多了还是少了,应该加多少或者减多少,这样就不会泄漏到底猜对了还是猜错了。

探长这里所想到的每一个权重值应该加多少或者减多少,其实就是所谓的梯度。通过减梯度值来尽快猜出一个最佳的权重值,这种方法就叫做梯度下降法。

其中最简单的梯度就是“线索的值”X“猜测的犯罪可能性与真实是否犯罪的差值”。这公式的推导需要微积分,但理解却不难。

前者是因为线索的值越大,对最终结果的影响越大,所以变化幅度要越大;后者则是变化的方向,猜多了要减一点,猜少了要加一点,差得远加减的幅度也要越大。

但是探长不能直接给出“猜测的犯罪可能性与真实是否犯罪的差值”,因为这样会让线人很快摸清档案真实情况。

探长心生一计,他把这个差值做了同态加密,发给线人,让线人使用所掌握的“线索的值”计算出梯度的密文,也就是 “线索的值”X“猜测的犯罪可能性与真实是否犯罪的差值的密文”,然后发还给探长进行解密。最后探长就可以只把梯度告诉线人,而不需要把猜测正确与否泄漏出去了。

           

联邦逻辑回归梯度计算流程

把上面这个过程反复进行,直到猜来猜去准确性都没什么提升了,就停止不猜了,被称为“收敛”了。

结语

在本文中,我们从电影中探长与线人的博弈场景延伸展开,探讨如何在双方都不透露具体数据给对方的情况下进行数据合作。

借此介绍了同态加密的技术,而同态加密的特点是对密文求和再解密等价于对明文直接求和。同时介绍了神盾-联邦计算在此基础之上,对经典的梯度提升树算法(GBDT)和逻辑回归算法(LR)进行了改造,从而让双方数据都不泄漏的情况下训练模型。

目前这两个算法已融入腾讯神盾体系,成为其中重要的能力,帮助促进金融行业的信息共享合作。同时,神盾也在安全性、效率和算法的丰富性完整性方面投入研发,取得了成效,例如:

  • 同态加密算法:神盾通过改造传统的Paillier系统,让算法整体计算速度提升70%。

  • 逻辑回归算法:神盾通过重新设计算法协议,剔除了可信第三方这个不安全设定,同时彻底免除了近似计算误差,使联邦逻辑回归效果跟传统逻辑回归完全一致。

  • 决策树算法:神盾通过矩阵计算优化,将同态密文的梯度直方图计算速度提升70%以上,使整体计算时间减少50%。

  • 非对称联邦技术:通过掺入假样本保护金融机构的客户ID列表,同时不影响模型训练效果。

未来,神盾-联邦计算将继续致力于联通数据孤岛,让数据发挥更大价值的同时,助力业务发展。


关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

北斗导航 | ChatGPT之RTK、RTD、ARAIM算法原理及程序代码(ChatGPT看你怎么回答,附部分代码) ChatGPT之RTK、RTD、ARAIM算法原理及程序代码 阅读详情

相关推荐

MTK手机传感器驱动开发避坑指南:从SCP代码大小限制到Overlay加载流程详解

本文详细解析了MTK平台传感器驱动开发中的常见问题,包括SCP代码大小限制、Overlay加载流程及客制化传感器集成。通过实战案例和优化策略,帮助开发者高效解决MTK传感器驱动开发中的技术难题,提升开发效率。

weixin_42522374的博客 402

【学习笔记】联邦计算

介绍了联邦学习的背景、问题和技术

听了个听儿 3175

JeecgBoot漏洞利用工具解析:一键getshell原理与安全加固实践

在应用安全领域,远程代码执行(RCE)和文件上传漏洞是Web系统面临的高危威胁,其核心原理在于对用户输入的控制不足或安全校验缺失。攻击者通过构造恶意请求,可绕过系统边界,在服务器上执行任意命令或上传恶意文件,从而获取系统控制权。这类漏洞的技术价值在于揭示了应用层安全防护的薄弱环节,其利用方式自动化、集成化趋势明显,极大地提升了攻击效率。在低代码开发平台等快速构建的业务系统中,此类风险尤为突出。应用场景广泛覆盖安全测试、渗透评估与应急响应。本文聚焦于JeecgBoot平台的历史高危漏洞,深入解析其SQL注入、

weixin_30787531的博客 554

隐私计算,联邦学习

隐私计算,联邦学习,KFserving

u011619480的专栏 3261

python爬取淘宝数据

python爬取淘宝数据淘宝评论 淘宝评论 打开淘宝,选择打开需要爬取的商品的评论。在谷歌浏览器选择开发者工具,选择network,找到list_detail_rate.htm?itemId=624466733121,点击headers、previews,可以看见相应的评论数据。 爬取一页屏评论代码如下 import re import requests headers = { 'Referer': '在headers中', 'User-Agent': '在

qq_36333776的博客 5800

一、数学建模层次分析法(AHP)【清风数学建模个人笔记】

层次分析法: 层次分析法主要用于解决评价类问题(例如:选择哪种方案更好、哪位员工、运动员等表现得更优秀) 评价类问题: 分析问题得出评判问题的子标,分别给不同子标赋予权重(权重和要为1) ...

m0_58882109的博客 1万+

联邦学习-隐私计算核心技术

随着人类社会数字化进程越来越快,产生了大量数据。通过机器学习技术可以自动化地挖掘数据中蕴藏的宝藏,经过大量数据训练出来的机器学习模型已经应用在各类场景中,正在深刻改变着我们的世界,例如精准医疗、临床辅助诊断、新药研发、人像识别、声纹识别、千人千面推荐算法、图片、语音、自然语言等多模态学习。在应用中,模型的精度、泛化能力等至关重要,而这些都赖于机器对大量数据的学习。...

顺其自然~专栏 3706

DenseNet训练实践

在Cifar10上训练DenseNet,复现DenseNet论文的结果是后面两篇分析工作的基础,因此本系列的第一篇,将首先讨论深度学习的训练过程中的几个方面: 1. 数据集 1.1 Cifar10数据集 Cifar10数据集有6万张32X32的图片,是一个小型的数据集,但数据的复杂度足够,下图来自DenseNet论文,可以看出,不用数据增强的话,ResNet的正确率也很难超过90%,因而足以用来验...

一蓑烟雨任平生 1万+

隐私计算中的联邦学习

数据资产已经成为产品和服务设计的关键工具,但是集中采集用户数据会使个人隐私面临风险,进而使组织面临法律风险。从2016年开始,人们开始探索如何在用户隐私保护下使用数据的所有权和来源,这使得联邦学习和联邦分析成为关注的热点。随着研究范围的不断扩大,联邦学习已经开始应用到物联网等更广泛的领域。那么,什么是联邦学习呢?联邦学习是在中心服务器或服务提供商的协调下,多个实体协作解决机器学习问题的一种机器学习...

我相信...... 1335

MuJoCo柔性体仿真实战:从FlexComp建模到自定义模型导入

柔性体仿真是机器人交互研究中不可或缺的一环,MuJoCo作为高精度物理求解器,凭借高效的求解速度与批量并行能力,成为强化学习与软体抓取任务的热门选择。其FlexComp机制将连续材料离散为粒子-约束系统,以较低建模成本模拟布料、软组织等形变行为,相比Gazebo等平台更具实时性与可扩展性。技术价值体现在自定义柔性体建模与导入流程中:通过XML配置网格密度、间距与材料参数,即可生成贴合任务需求的软体垫子或硅胶抓手。在柔性抓取、颗粒抓手、医疗仿真等场景中,该方法能快速构建可训练的环境。围绕环境搭建、FlexCo

weixin_29045585的博客 163

部署OpenClaw时设置环境变量提示export: not valid in this context的完整解决方案

OpenClaw环境变量设置错误解决方案 问题概述 在部署OpenClaw时设置环境变量出现"export: not valid in this context"错误,通常由以下原因导致: 在非交互式shell中使用export命令 在命令替换或管道中使用export 脚本文件包含Windows换行符(CRLF) 解决方案 修正脚本执行方式:确保export命令在正确的shell上下文中使用 使用source命令:通过. setup_openclaw.sh或source setup_op

博客 459

腾讯“神盾-联邦计算”平台带你翻越数据合作的重重大山

导语 | 大数据及人工智能飞速发展的今天,法律法规和信任问题严重阻碍了企业之间的数据流通,数据孤岛问题像一只无形的手挡在了企业之间,因为缺乏有价值的数据合作,各行业用户获取成本居高不下。...

QcloudCommunity的博客 953

【光伏风电功率预测】基于 ICEEMDAN + MSCNN-BiGRU-Attention 的并行预测模型

本文提出一种基于ICEEMDAN分解与多尺度深度学习的光伏/风电功率并行预测框架。针对多能源、多时间尺度、强非平稳特性带来的建模挑战,该模型首先通过改进的ICEEMDAN算法将原始功率序列分解为不同频段的IMF分量;随后为每个IMF构建包含多尺度CNN、双向GRU和注意力机制的子模型,实现局部特征提取与时序依赖建模;最后通过并行预测与重构获得最终功率输出。实验表明,该方法能有效解决模式混叠问题,提升预测精度,并支持光伏/风电的独立或联合预测部署,适用于风光联合调度等工程场景。

专注AI大模型,软件混淆,授权 155

腾讯云大数据:神盾首创非对称联邦学习,深度保障数据隐私

导语:在过去的几年中,我们见证了大数据及人工智能技术的飞速发展,许多机构却依旧苦于数据数量少、质量低等难题而无法将前沿理论商业化落地。助力像石油般宝贵的数据突破隐私保护的条框限制并实现其价值的流通,对相关产业的发展起着至关重要的作用。在上一篇文章中,我们简要介绍了腾讯“神盾-联邦计算”平台的诞生背景和数据安全与隐私保护技术亮点。这次,我们着重选取本产品首推的“非对称联邦学习” (Asymmetrical Federated Learning, AFL) 范式进行介绍。该范式旨在全面保护数据集的样本ID、特.

QcloudCommunity的博客 1728

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

数据科学研讨会:机器学习部署与数据治理实践

机器学习在生产环境中的部署优化和数据治理是当前数据科学领域的核心议题。联邦学习技术通过差分隐私参数调优,在保护数据隐私的同时实现跨机构协作建模,典型应用场景包括医疗数据联合分析。实时机器学习系统架构则借助Apache Flink和TensorFlow Serving等工具,显著降低预测延迟。MLflow 2.0和Ray Serve等工具链的演进,进一步简化了模型监控和分布式推理流程。这些技术在金融风控、医疗数据分析等场景中展现出巨大价值,推动数据科学从实验室研究走向规模化商业应用。

weixin_30892763的博客 397

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

联邦学习原理-上篇

联邦学习技术特点 数据隔离 数据不泄漏到外部 对等 参与者地位平等 无损 联邦学习效率等同或接近全量数据模型 共同获益 参与者共同获益 联邦学习分类 横向联邦 数据方特征维度相同 纵向联邦 数据方样本ID相同传统的以表格的方式查看数据看 纵向的按列对数据分组每列数据包含的数据indices/ID相同 纵向联邦学习-联合建模需求场景 举例说明 微众与合作企业联合建模,微众有y(业务表现),期望优化本方的Y预测模型 各方数据 合作企业 微众银行 设定 只有微众拥有Y=逾期表现 合

孟凡霄 1369

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

联邦学习原理-中篇

纵向联邦学习需求建模场景 金融科技-小微企业信贷的风险管理 痛点 理想很丰满,现实很骨感银行期望得到密集和全面的企业及其控制人相关信息但实际上银行通常只有央行征信报告所以对客户缺乏全面了解并且数据分布严重倾斜 基于联邦学习的解决方案 银行和票据公司合作通过对近3/6个月的开票金额、央行征信分等标签属性进行联合建模,预测是否预期 保险科技-个性化定价 痛点 保险公司丰满的理想 具有精准个性化用户画像(几百维)数据覆盖全面 保险公司骨干的现实 对客户缺乏全面了解数据分布严重倾斜 基于纵向联邦进行保

孟凡霄 650

联邦学习与安全多方计算(MPC):打破数据孤岛,实现“可用不可见”的利器

联邦学习与安全多方计算的结合,正成为在隐私保护时代挖掘数据价值的“技术底座它不仅在技术上实现了隐私与效用的精妙平衡,更在商业和合规层面开辟了新的可能性。尽管在性能、互通性和安全性上仍面临挑战,但随着开源生态的繁荣、硬件加速的普及以及行业标准的推进,这项技术必将在金融、医疗、政务等关键领域发挥越来越重要的作用。对于开发者而言,现在正是深入理解并参与构建这一未来生态的最佳时机。从学习一个开源框架开始,了解其背后的密码学原理,思考如何解决实际业务问题,你将成为推动数据要素安全流通的关键力量。

578

联邦学习隐私计算开源平台(FATE)

Federated AI Technology Enabler(FATE)是一个非常知名的联邦学习隐私计算开源平台。它支持多种联邦学习算法和技术,能在各参与方数据不出本地的情况下,实现模型的联合训练和推理。这对于保护数据隐私、实现跨机构的数据合作具有重要意义。广泛应用于金融、医疗、政务等对数据隐私要求较高的领域。例如,在金融领域,不同金融机构可以在不共享客户敏感信息的前提下,共同训练风险评估模型,提升风险防控能力。

weixin_43156294的博客 1739

隐私计算、联邦学习都是什么?

隐私计算与联邦学习:数据安全共享的技术路径 隐私计算是一套保障数据"可用不可见"的技术体系,包含联邦学习、安全多方计算和可信执行环境三大分支。其中,联邦学习作为最广泛应用的技术,通过"数据不动,模型动"的方式,实现多方数据协同建模而不泄露原始数据。典型应用场景包括医疗联合建模、金融风控等,在GDPR等数据法规日益严格的背景下,这些技术成为平衡数据隐私与价值挖掘的关键解决方案。隐私计算如同基础设施,而联邦学习则是其上运行的具体应用。

东城庞太师 1460

联邦计算核心技术

为联合打通数据孤岛,解决参与方的数据安全可信隐私保护问题,广义的联邦计算**「Federated Computing」实现方案包括:以密码学为核心的MPC多方安全计算「Secure Multi-Party Computation」,以及硬件可信执行环境TEE「Trusted Execution Environment」**。 ...

m0_59012842的博客 1465

隐私计算-联邦学习,多方安全计算,可信计算的区别与联系

联邦学习,多方安全计算,可信计算作为隐私计算三类技术是有各自的特点和差别,核心思想不同,应用侧重方向、数据流动方式、硬件要求等方面有差异,各有自行的演进路径。 1、联邦学习(软件级): 核心思想:面向模型,"数据不动、模型动",原始数据在本地模型训练,只交互模型的中间计算结果。 应用方向:侧重于多方数据的分布式机器学习模型训练和推理。 数据流动:不交换原始数据 密码技术:密分享、同态加密、差分隐私等 硬件要求:通用硬件 2、多方安全计算(软件级): 核心思想:面向数据,信任密码学,构建一系列

Liao_Wenzhe的博客 8766

多方安全计算、联邦学习、可信计算 对比区别

软件工程小施同学 的专栏 2614

联邦学习算法初步了解

联邦算法是一种分布式机器学习技术

feishuoren的博客 1280

联邦学习 (隐私计算)

联邦学习是一个机器学习框架,能帮助不同机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据联合使用和建模。具体地说,联邦学习要解决这样一个问题:在企业各自数据不出本地的前提下,通过加密机制下的参数交换与优化,建立一个虚拟的共有模型。这个共有模型的性能类似于将各方数据聚合到一块训练出来的模型。该数据联合建模方案不泄露用户隐私且符合数据安全保护的原则。 现在主流用于机器学习的隐私计算方...

WhoisCong的博客 1万+

梯度是什么,为什么联邦学习传递这个就可以更新模型?

梯度是数学和机器学习领域中的一个基本概念,它表示的是一个函数在给定点处沿着不同方向的变化率或斜率。在多维空间中,梯度是一个向量,指向函数增长最快的方向,并且其大小表示在该方向上函数增长的速度。

weixin_50153914的博客 2491
上一篇: 手把手教你:将 ClickHouse 集群迁至云上
下一篇: 持续引领大数据行业发展,腾讯云发布全链路数据开发平台WeData
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值