- 博客(7)
- 收藏
- 关注
RSS订阅原创 LEAF shakespeare数据集处理
由于电脑设置，需要把整个文件中的命令从python3转化为python，之后按照教程运行./preprocess.sh -s niid --sf 0.2 -k 0 -t sample -tf 0.8即可划分数据集。为解决该问题，可以下载源文件raw_data.txt，之后就可以继续划分，也就是跳过了wget这一步。目前直接按照教程来操作的话，会出现404错误。
2025-02-28 21:32:31
188
原创 tmux使用
5. tmux at[tach] -t 编号 查看程序运行情况。2. 执行程序：python XXX.py。4. tmux ls 查看运行程序的编号。1. tmux 进入tmux环境。
2024-08-21 15:25:57
224
原创 FedAvg算法
带着这个疑问，开始在网上找答案，最终发现《Communication-Efficient Learning of Deep Networks from Decentralized Data》在arXiv上竟然有了新的一版（2023年更新的），话不多说，直接上原文。但这里就有疑问了，不应该是参与训练的客户端才会执行聚合吗？为了节省带宽等，有时候甚至只有参与训练的客户端才会得到最新的全局模型，那么怎么会所有客户端参与聚合呢？，意味着全部客户端都要参与聚合，那么没有被选择的客户端都不进行本地训练，怎么会有。
2023-11-04 21:02:50
842
1
原创 联邦学习（Federated Learning）pytorch实现，超全注释
torch.nn.Module模块中的state_dict变量存放训练过程中需要学习的权重和偏置系数 state_dict本质上Python字典对象。在这里引入了三种数据集分配方式，分别是minist_iid，mnist_noniid和cifar_iid。这三个函数最终的输出都是dict_users，也就是一个字典，键值对分别为客户端编号和每个客户端所拥有的数据集标签。这里和集中式训练差不多，自定义包中的具体函数在使用时候再具体讲解。最后是损失绘图和测试，和集中式训练类似。和集中式训练一样，不再赘述。
2023-07-29 14:31:35
2438
原创 联邦学习（Federated Learning）pytorch实现，超全注释
开始两行是自定义包args_parser，目的是为了自动解析命令行，获取参数信息，第三行是为了确定cpu还是gpu进行训练，最后的种子其实可以跳过，有没有都行，主要就是为了通过随机种子使得每次的运行结果都一致。前两行是引入绘图的包，三四五行是引入torch的包，datasets和transformer的作用已在注释中说明。最后两行是引入的自定义包，在用到的时候会解释。接下来就是训练过程了，首先是选择优化器，普遍使用的是SGD，接下来就是训练过程，注释已经给出了每一步的作用，基本训练过程都是固定的。
2023-07-27 12:06:35
4346
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人