FATE联邦学习笔记(一)

这篇博客记录了在使用微众银行的FATE框架进行联邦学习时遇到的问题及解决过程。初期遇到的数据标签不一致问题在FATE的后续版本中得到了解决。之后出现的数据上传延迟和任务参数过多导致的错误,分别通过重新部署和调整数据库字段类型得以修复。目前,FATE暂不支持加载预训练模型权重。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

学习联邦学习的概念及方法,尝试微众银行FATE框架。
本节主要是记录从官方微信群得到的回答及修改结果。
单机版教程参考:横向联邦学习实践
集群版教程参考:使用FATE进行图片识别的深度神经网络联邦学习
实际使用中提出了这样一个问题:在案例中,mnist数据集是随机划分的,即每一个数据集内同时存在0~9全部标签。但是生产中存在这样一种情况:不同参与者拥有的标签完全不同,比如一方拥有0 ~4,另一方拥有 5 ~9。模拟这种情况进行尝试。在不改变算法配置的情况下报错。
报错信息

经其他人提醒后,怀疑可能是由于单独一方参与者不拥有全部标签,和算法配置不符带来的问题。在数据集上增加几条其它标签的数据,保证各方拥有全部标签。运行时不再报错。
上述方法并没有从根本上解决问题。接下来尝试通过改变算法模块解决报错问题。

20200518:官方回答:
问:在用横向联邦学习进行手写体识别的时候报错。我将数据集分按标签为01234和56789划分,分类任务5或者10均报错。请问fate支持两个节点上的数据标签完全不同这种情况吗?
答:是会这样 现在没有进行类别数同步 类别数的推断会出错 下个版本会解决这个问题。(当时刚刚发布1.4版本)
在github提了issue进行记录。

新问题:
使用fate 1.3中遇到了这样的问题:集群正常运行了一段时间后出现问题,数据突然上传的很慢,原本只需要十几秒的过程会卡住,等待很久的话会报错。使用的是docker版的集群部署。这种问题遇到了不止一次,在不同节点(host,guest)上均遇到过。重新部署后解决了这个问题。这个问题的原因和解决方法尚不清楚。
另外,重新部署后的数据仍然保留,这是为什么?
怀疑:磁盘空间不足。

20200609:
问题:使用resnet50模型后,提交任务报错。
{
“retcode”: 100,
“retmsg”: “an error occurred while creating the job: role guest party_id 9999\n(1406, “Data too long for column ‘f_runtime_conf’ at row 1”)”
}
原因:任务参数过多。runtime_config文件会读成json存入mysql,这个报错是超过mysql的字段最大长度,存mysql报错。
解决方法:修改mysql容器中表名为t_job的f_runtime_config字段。
mysql账户密码: user:fate passwd:fate_dev
将TEXT修改为MEDIUMTEXT后错误解决。

20200624:
问题:是否支持加载预训练的模型权重?
答:暂不支持

### FATE联邦学习框架概述 FATE(Federated AI Technology Enabler)是个开源的联邦学习框架,旨在提供安全、高效的多方联合建模解决方案。它支持多种类型的联邦学习模式,包括但不限于横向联邦学习和纵向联邦学习。 #### 横向联邦学习案例 在实际应用中,当参与方的数据特征空间相同而样本ID不同的情况下,可以采用横向联邦学习的方式进行协作建模[^1]。这种方式能够有效利用各方数据的优势,提升模型性能的同时保护隐私。 #### 终端命令操作指南 为了方便用户管理任务流程,在FATE框架中可以通过`flow`命令来完成系列的操作,比如提交任务等。具体而言,通过编写配置文件(通常是JSON格式),定义好训练所需的各种参数之后,即可运行相应的脚本启动作业[^2]。例如: ```bash flow job submit -c test_hetero_linr_train_job_conf.json -d test_hetero_linr_train_job_dsl.json ``` 上述命令中的两个JSON文件分别代表了DSL(Domain Specific Language)描述以及具体的配置选项集合。 #### 可视化工具——FATEBoard 除了强大的后台处理能力之外,FATE还配备了个图形界面叫做FATEBoard,用于监控整个实验过程的状态变化情况以及其他重要指标展示功能[^3]。这使得研究人员无需频繁切换窗口查看日志信息就能直观理解当前进展如何。 ### 安装部署与文档获取途径 对于初次接触该系统的开发者来说,可以从官方仓库下载最新版本源码包或者二进制分发版来进行本地环境搭建测试;与此同时也可以查阅项目主页上的详细介绍资料进步加深认识程度。通常情况下这些资源会被托管于GitHub平台之上供全球访问者自由取阅。 以下是几个可能对你有帮助的相关链接地址模板(需自行替换为真实URL): - **官方网站**: https://fate.apache.org/ - **GitHub Repository**: https://github.com/FederatedAI/FATE - **User Documentation**: https://fate.readthedocs.io/ 请注意以上仅为示意性质的内容结构安排建议,请根据自己实际情况调整适用范围内的细节部分。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值