De-Alf-优快云博客

原创 Personalized Federated Learning: A Meta-Learning Approach 个性化联邦学习PerFedAvg开山鼻祖之作

简单回顾MAML。给定一组从底层分布中提取的任务，在MAML中，与传统的监督学习设置相反，目标不是找到一个在预期的所有任务上都表现良好的模型。相反，在MAML中，假设在新任务到达后，有限的计算预算来更新模型，在这个新设置中，寻找一个初始化，它在相对于这个新任务更新后表现良好，可能是通过一个或几个梯度下降步骤。这个公式的优势在于，保持FL的优势还捕获了用户之间的差异，无论是现有用户还是新用户都可以将这个新问题的解决方案作为初始点，并根据自己的数据稍微更新它。

2024-04-19 15:19:25 734

原创 Personalized Federated Learning on Non-IID Data via Group-Based Meta-Learning 编解码器分组聚类联邦元学习G-FML

FL中，N客户端训练一个共享模型theta，各有各的数据集D，损失函数l，即最小化所有客户端上的经验损失函数。问题是前提要求iid数据分布，若为non iid则不好。iid: independent identical distribution，独立同分布。理解成所有客户端上的样本服从统一的分布。non iid导致global model无法在所有客户端上进行最小化经验损失。因此采用分组元学习的方法。问题定义后的全局目标如下。分了K组，共N客户端。这篇文章也是一个比较常规的工作。

2024-04-18 19:28:44 1302

原创 Multi-initial-Center Federated Learning with Data Distribution Similarity-Aware Constraint 聚类+联邦元学习

有类结构，但类之间仍然不完全相同。问题定义很简单：最小化所有类中样本损失之和，之后保证类之间客户端相似度最高。u是一个指示变量，表示i在不在集群c中。有三个变量要学习：类本地模型，客户端本地模型，和集群分配策略。因此采用交替优化策略，固定一个然后解决另一个。算法：每一轮收集local model和cluster model，通过在一批“指示样本”上计算预测结果后，用KL散度判断相似度。之后更新cluster assignment。其实就是K means由于目标是一次梯度下降，所以对损失函数求导。

2024-04-18 15:44:14 789 1

原创常用联邦学习数据集下载bd盘链接

联邦学习数据集下载链接,leaf,cifar

2023-09-19 16:25:01 508 1

原创聚类联邦学习Clustered Federated Learning: Model-Agnostic Distributed Multitask Optimization

Clustered Federated Learning: Model-Agnostic Distrib不需要事先指定聚类数量？作为一种后处理，让客户端准确度更高文章很好，行文清晰严谨，让人眼前一亮。数学证明严谨，简洁，巧妙。当然这个工作也是有缺陷的。每一类都要维护一个模型（或者说一个分类的树）

2023-08-07 21:31:46 2973 2

原创【解读】通过客户端采样实现高效通信效率联邦学习 Communication-Efficient Federated Learning via Optimal Client Sampling

汇总本地模型需要在客户端和中央服务器之间频繁通信大量信息。本文提出了一种新颖、简单和有效的方法，在通信受限制的情况下基于从具有信息更新的客户端收集模型并估计未传递的本地更新来更新中央模型。特别地，通过奥恩斯坦-乌伦贝克过程对模型权重的进展进行建模，我们可以推导出一种选择具有显着权重更新的客户端子集的最佳采样策略。中央服务器仅从所选客户端收集更新的本地模型，并将其与未被选中进行通信的客户端的估计模型更新相结合。

2023-06-15 19:11:44 1013

原创【解读】Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge FedCS 客户端选择

FedCS文章解读

2023-06-15 00:15:35 531 1

原创联邦元学习笔记，A Collaborative Learning Framework via Federated Meta-Learning

边缘物联网设备需要实时智能决策，但是由于计算资源限制和本地数据限制往往做不到。于是提出一个目标是作为平台的合作学习框架。一个模型首先在一个客户集合上训练，然后在目标边缘节点上快速适应，只用很少的样本。同时也调查了算法的收敛性（温和条件下）和目标节点的适应性能。同时为了对抗脆弱的元学习算法的对抗攻击，又提出了更稳健的版本，基于分布健壮优化，同样分析了收敛性。不同数据集上的实验证明了其有效性。现在的边缘物联网设备很多都要求实时边缘智能，传统送数据到云服务器分析不现实（高延迟高带宽消耗）。

2023-01-17 13:27:40 720

原创 homebrew出现Calling `cellar` in a bottle block is deprecated! 的解决方法

本人某天升级到macOS Big Sur之后使用homebrew cleanup命令时出现了非常多的错误，场面颇为壮观。在stackoverflow上找到了一个类似的问题，但是也没有人给出解释。所以尝试使用了这个命令：brew style --fix /usr/local/Homebrew/Library/Taps/exolnet/homebrew-deprecated/Formula之后会等待很长一段时间，下载一个sorbet，搜索了一下好像是用来检查ruby文件的格式的工具。之后会自动运行这个工

2021-04-27 17:08:21 5702 3

原创 MySQL不用Cascade delete修改子表和safe mode

MySQL不用Cascade Delete修改子表和safe modemysql支持级联操作，但是并非所有DBMS都支持。所以不用cascade设计这样的存储过程主要有两种方法：删除原有的外键约束，对被参照或参照表修改，之后再将外键约束加回去。这个方法的好处是简单好理解，但是有的设备上或者数据库并不能使用。将被参照表中要修改的部分记录下来后，增加一条要修改的内容，之后就可以正常操作参照表了。最后删除旧内容即可。本人采用的就是后一种方法。举例如下方。Book表中的ID为主键，Borrow表中Boo

2021-04-16 09:56:56 297 1

原创算法基础实验：Kruskal和Johnson

算法基础实验：Kruskal和Johnson实验报告文章目录算法基础实验：Kruskal和Johnson1. 实验内容2. 实验设备环境3. 实验方法4. 实验步骤5. 结果分析1. 实验内容实现求最小生成树的Kruskal算法。无向图的顶点数N的取值分别为: 8、 64、128、512，对每一顶点随机生成1~⌊N/2⌋条边，随机生成边的权重，统计算法所需运行时间，画出时间曲线，分析程序性能。实现求所有点对最短路径的Johnson算法。有向图的顶点数 N 的取值分别为: 27、81、243、

2021-01-08 22:10:45 434

原创 yacc和lex细节解答以及实现反向自动微分

反向自动微分的yacc和lex实现文章目录反向自动微分的yacc和lex实现0. 写在前面2. lex词法分析器和yacc语法分析器lex难点解答yacc难点解惑3. 生成可执行文件4. 写在最后0. 写在前面为了完成编译原理的实验，本人在互联网上搜索yacc和lex相关的用法，但是解惑和细节的内容相对来说比较少，有的小部分也没有进行说明。于是在经历了很长时间的外文互联网搜索和阅读英语手册后，我完成了这个实验，并且决定写一写我对于yacc和lex工具的理解。当然源代码在GitHub上，如果觉得我的文章

2020-12-28 11:52:49 1044

De-Alf的博客