- 博客(62)
- 收藏
- 关注
RSS订阅原创 【论文阅读】FedFomo:PERSONALIZED FEDERATED LEARNING WITH FIRST ORDER MODEL OPTIMIZATION
FedFomo 提出了一种个性化的学习方式，它允许每个客户端根据自身的目标任务，选择最适合的其他客户端的模型进行组合，而不是单一地依赖全局模型。最后提出了两种贪心策略，第一种是优先选择亲和矩阵中值较大的，另一种则是保留了随机选择其他模型的概率，并不一定每次都选择最优的值，避免程序陷入局部最优解。的概率大小，一开始全部的值都相等代表概率都相等，在每次学习过程中都会根据2中的公式更新该矩阵，若抽取到的权重较大，则提高矩阵中该点的值，否则减少。代表了其他客户端的模型参数。文章发表于ICLR2021。
2024-10-04 20:47:50
1347
1
原创 【论文阅读】Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning（APPLE）
具体来说就是每个客户端都能获取到其他所有的客户端的模型，然后拿着其他客户端的模型跑自己的数据，谁跑出来的loss小谁就对我有帮助，权重会相对大一些。论文首先就是指出现有的PFL方法（比如finetune和个性化层）都没怎么捕捉到不同task之间的联系，所以就提出了这个方法，为每一个Client引入了一个长度为n的权重变量。每次只拿M个，没拿满的时候优先拿之前没拿过的客户端的模型。：随着训练轮次的增加，正则化权重逐渐减小，允许客户端的个性化模型逐渐发挥更大的作用。λ是权重函数，随着轮次的上升而下降。
2024-09-26 15:35:29
452
1
原创 【论文阅读】FedBABU：TOWARD ENHANCED REPRESENTATION FOR FEDERATED IMAGE CLASSIFICATION
FedPer:训练过程中只聚合主体参数。与BABU不同的是，BABU直接把头部参数给冻结了，而Per头部依旧是参与训练的。训练过程中冻结客户端的头部参数，只训练主体参数。训练完之后再在客户端本地跑几个epoch微调一下（文章推荐5个）。由于该算法与FedPer思路过于相似，故读完后跑了个实验。
2024-09-25 17:14:50
725
8
原创 【算法精解】逆序对受限的方案数
题目：给定两个数n，k，你需要求出1，2，…，n的所有排列a1,a2•••，an中满足a1 ＜ a2且逆序对个数sum ≤ k的个数答案对10^9＋7取模输入描述一行两个数n，k输出描述输出一行一个数代表答案。
2024-09-22 12:15:36
917
1
原创 【秋招笔试题】逃离火山岛
给你初始魔法值M，安全地带距离D，规定时间T，请你计算他们能否逃离。若能逃离，输出最短逃脱时间，若不能，输出最长逃脱长度。题面：游客们在苏门答腊岛游玩，突然接收到紧急通知，拥有魔法值的游客可以1秒内顺时移动60米，但。假设游客们需要在规定时间T秒逃离到距离他们D米。在此干钧一发时刻，上帝同情。他们每秒可以移动17米，且拥有一定数量的魔法。与此同时，如果某一秒游客选择原地不动，那么魔。的安全地带方可以保住性命，请判断游客是否能够。是每次都需要消耗魔法值10点。受难的游客，赠与他们超能力。
2024-09-21 18:53:13
226
原创 【论文阅读】FedABC: Targeting Fair Competition in Personalized Federated Learning
主要就是提出了二元分类策略，将多分类变成n个二分类任务，每个二分类任务将本类别内的样本作为正样本，其他所有的类别作为负样本，这样能显著减少NOIID的影响。当然缺点应该是需要同时训练n个模型，计算的代价变高了。FedABC利用二元分类的训练策略来解决每个类别的个性化问题。这意味着对于每个类别都训练一个独立的二元分类器，从而使得每个类别都能得到足够的关注，即使是那些样本较少的类别。为了处理数据中的类别不平衡问题，FedABC采用了欠采样技术，这可以帮助模型减少对多数类的过分关注，从而提高对少数类的分类性能。
2024-09-18 14:19:58
656
1
原创 【秋招笔试题】机器人的数量
今天，我们要进入一个充满机器人的神奇科技世界。这些标志会让机器人进入它们指向的下一个相邻格子。网格有 n 行 m 列的地图，左上角为 (1,1)，右下角为 (n,m)。每个格子有一个滑行带，前进方向为 L,R,U,D，分别表示左右上下四个方向。第一行两个整数 n m (1 <= n, m <= 3 * 10^5)，表示地图大小。接下来 n 行，每行包含 m 个字符的字符串，表示每个格子滑行带的方向。输出一行一个整数，表示第 10 时刻，地图上剩下机器人 A 的数量。内存限制: 65536KB。
2024-09-10 10:26:22
857
原创 【秋招笔试题】讨厌冒泡排序
题解：免费的操作是分别在奇偶下标进行排序，收费的操作会改变他们下标的奇偶性，那么直接统计在排序后有多少元素的下标发生变化了即可。
2024-08-31 16:53:47
194
原创 【秋招笔试题】合并最小值 DP
观察到数据量为500级别，可以考虑N^3的解法。那么显然便是动态规划。定义数组dp[i][j][k]为第一个数组枚举到i，第二个数组枚举到j，总共选了k个的最小答案。注意由于是数组对比大小，需要自定义比较函数。不一样的是，那个是最大值，这个是最小值，且需要处理0首位问题。那道题是Hard题中的Hard，无论是思维量还是代码量都是顶级，这道题难度并不弱于那道。
2024-08-19 22:36:11
357
原创 【秋招笔试题】米小游的植树工
解法：若区间覆盖的最小值大于等于2，则有他没他没影响，反之则不能算。所以一开始差分数组预处理区间加，然后ST表查最小值即可。
2024-08-17 21:26:56
234
原创 FL论文专栏｜设备异构、异步联邦
每次Server广播全局Model的时候附带一个时间戳，Client跑完之后上传将时间戳和Model同时带回来，Server收到某个Client的上传数据后马上更新，更新时Client的数据要额外乘上一个滞后函数，时间离得越远权重越小。考虑到异步FL会导致一直有Client上传梯度，导致Server不断更新全局Model，使得算法变得低效，论文提出设置一个异步FL中同时train的Client数量上限，并提出了一个评分标准，每次优先让分高的跑。提出了随机权重的方法，但是没有见得哪里随机。
2024-06-22 17:16:05
1154
原创 联邦学习周记｜第四周
但如果手上只有振幅谱或相位谱的其一，就无法变换回去，这保证了隐私性。同时针对FL中可能存在的异质问题而导致每个Client重建，文章还提出了一个识别器用于分辨两个站点间重构出来的图像的特征区别，并将loss加上这个识别器的值，最终跑到识别器无法分辨出不同站点间的区别就算结束了，这解决了异质性的问题。具体的，文章指出传统的DG（域泛化）在FL隐私保护的背景下作用有限，提出将原始数据通过快速傅立叶变换转化到频率空间中，并通过连续插值的方法桥接多个数据分布空间，以加强模型在未见过的数据分布空间的性能。
2024-06-18 18:20:18
1099
原创 联邦学习周记｜第三周（请忽略）
答辩周，预备dy转正手写万字+整理材料答辩+杂七杂八占用了几乎全部时间。另外看了李沐的动手学深度学习的14章课 QA环节能学到很多东西。尝试看了两篇ICML但是一开始就有概率论的内容 然后卡住了。但是考研没考概率论 所以要花时间学习一下。
2024-06-04 07:48:04
151
原创 2024ICPC武汉邀请赛M.Merge
这也就是说我们每次合成，其中一个数字必定来自于原始序列，即未经过合成操作的。所以每次操作枚举一下原始序列即可，贪心地从大到小枚举，递归一下。考虑一个数字，他要变得更大，那就合成。此时能与这个奇数合成的只有偶数，而一个数字合成后必定成为奇数。一直在想他会不会一直合并下去，然后想用优先队列或者set什么的维护一下动态序列，结果发现有个重要的性质没考虑到。
2024-05-22 17:53:24
411
原创 联邦学习入门周记｜第一周
数据量异质性指的是每个Client之间的数据量不同，比如A有100个数据，B只有1个数据。数据特征异质性是指每个Client之间的数据特征不同，比如A中的数据有猫、狗、猪、马，B中的数据里只有乌龟。数据异质性会导致最终跑出来的模型产生偏差，比如给模型100张猫的图，1张狗的图，那么最终模型对于猫的辨认能力一定远大于对于狗的辨认能力。联邦学习的入门论文。论文大意就是由于各种原因，我们需要一种新的分布式的学习算法，用于将各客户端的数据也都加入训练中，但是不能直接将客户端数据直接给服务端，这种算法就叫联邦学习。
2024-05-16 19:38:21
427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人