多喝开水少熬夜-优快云博客

原创 AFL-DCS: An asynchronous federated learning framework with dynamic client scheduling

联邦学习作为一种新兴的分布式机器学习范式，能够在保护本地数据隐私的同时，在大量边缘设备上训练全局模型。在典型的联邦学习范式下，全局模型通过同步协议进行更新，这要求服务器在每个回合更新全局模型之前等待所有客户端返回其模型参数。然而，由于设备异构性导致的拖沓效应可能会严重降低同步联邦学习的训练效率。异步联邦学习可以有效缓解由设备异构性引起的训练低效，但异步更新协议使得全局模型更容易受到异构数据的影响。在非独立同分布（non-IID）设置下，异步联邦学习的全局模型可能难以收敛，甚至无法收敛。

2025-03-26 17:47:39 854

原创 Federated learning client selection algorithm based on gradient similarity阅读

联邦学习（FL）是一种创新的机器学习方法，终端设备在中央服务器协调下共同训练全局模型，解决了数据隐私和数据孤岛问题，而无需将数据传输到中央服务器。然而，在联邦学习中，客户端数据的异质性显著影响了 FL 的性能。为了解决模型精度低和收敛速度慢的问题，提出了一种基于梯度相似性的客户端选择算法（FedGSCS）。该算法通过比较客户端梯度与平均梯度之间的相似性来选择客户端，优先选择能够加速模型聚合以促进模型收敛的客户端。

2025-03-24 20:54:07 910

原创 Position Embedding Transformation for Multi-View 3D Object Detection PETR模型训练过程

环境：Linux, Python=3.6.8, CUDA = 11.1, pytorch = 1.9.0, mmdet3d = 0.17.1。下载nuScenes数据集：需注册并下载nuScenes数据集，放置到data/nuscenes目录，我用的是mini进行测试。修改config文件的data路径，例如：·data_root = ‘xxxx/PETR/data/nuscenes/’·可以下载官方训练好的权重选择正确的config文件进行推理：epoch_24.pth。的时候有什么库没安装上就用。

2025-03-06 22:41:17 284

原创 Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling论文阅读和学习

联邦学习 (FL) 算法通常对客户端的随机子集进行采样，以解决落后者问题并提高通信效率。虽然最近的研究提出了各种客户端采样方法，但它们在联合系统和数据异构设计方面存在局限性，可能与实际的异构无线网络不一致。在这项工作中，我们提倡一种新的独立客户端采样策略，以最大限度地减少 FL 的挂钟训练时间，同时考虑通信和计算中的数据异构性和系统异构性。我们首先推导出具有独立客户端采样的非凸损失函数的新收敛界限，然后提出一种自适应带宽分配方案。

2024-12-30 19:39:01 1089 1

原创 Client Selection in Federated Learning: Principles,Challenges, and Opportunities论文阅读学习

联邦学习（FL）作为一种训练机器学习（ML）模型的隐私保护范式，已经受到了工业界和学术界的广泛关注。在一个典型的FL场景中，客户端在数据分布和硬件配置方面表现出显著的异构性。因此，在每一轮训练中对随机客户端进行抽样，可能无法充分利用异构客户端的局部更新，导致模型精度较低、收敛速度较慢、公平性降低等。为了解决FL客户端异构性问题，人们开发了各种客户端选择算法，显示出了良好的性能改进。在这篇文章中，我们系统地介绍了FL客户选择的新兴领域的最新进展及其挑战和研究机会。

2024-12-30 19:36:29 996 1

原创 vue项目搭建规范

Prettier 是一款强大的代码格式化工具，支持 JavaScript、TypeScript、CSS、SCSS、Less、JSX、Angular、Vue、GraphQL、JSON、Markdown 等语言，基本上前端能用到的文件格式它都可以搞定，是当下最流行的代码格式化工具。通常我们的git commit会按照统一的风格来提交，这样可以快速定位每次提交的内容，方便之后对版本进行控制。1.在前面创建项目的时候，我们就选择了ESLint，所以Vue会默认帮助我们配置需要的ESLint环境。

2024-12-28 14:16:31 792

原创书籍阅读---为什么精英都是时间控--摘抄

列一下自己的时间计划表根据本书的一些方案可以列出自己的时间规划。

2024-12-02 14:04:21 881

原创 FedGraph: Federated Graph Learning With Intelligent Sampling论文阅读

联邦学习因其在分布式机器学习中的隐私保护而引起了研究的广泛关注。然而，现有的联邦学习工作主要集中在卷积神经网络（CNN）上，它不能有效地处理在许多应用中流行的图数据。图卷积网络（GCN）被认为是最有前途的图学习技术之一，但其联邦设置很少被探索。在本文中，我们提出了用于多个计算客户端之间的联邦图学习的联邦图，每个计算客户端都包含一个子图。FedGraph通过解决两个独特的挑战，为跨客户端提供了强大的图形学习能力。首先，传统的GCN训练需要在客户之间进行特征数据共享，从而导致隐私泄露的风险。

2024-11-26 20:56:23 1360 1

原创 Collaborative DNNs Inference with Joint Model Partition and Compression in MEC论文阅读和学习

移动边缘云计算利用边缘设备和云服务器的计算资源来执行复杂的深度神经网络 (DNNs) 进行协作推理。然而，许多现有的协作推理方法没有充分考虑边缘设备的有限资源，导致推理延迟较高。在本文中，我们设计了一个集成计算框架，该框架结合了模型分区和压缩以减少推理延迟。具体来说，我们在中间层对 DNN 模型进行分区，并将前一层部署在边缘设备上，将后一层部署在云服务器上。我们提出了一种协作双智能体强化学习算法 CPCDRL 来确定分区点和压缩比。它能够根据各种分区点自适应地调整压缩比，其总体目标是最。

2024-11-07 16:54:52 903 2

原创后资本主义生活财富的意义、经济的未来与货币的时间理论--阅读记录

吉尔德用四个比喻构建了一个从工业时代跨越到智能时代的极具前瞻性的思考框架：经济学的信息理论可归结为四个经典命题：

2024-11-03 10:12:29 124

原创 Energy-Efficient Client Sampling for Federated Learning in Heterogeneous MEC Networks 论文阅读和学习

为了解决网络拥塞和数据隐私问题，将多个客户端和一个参数服务器相结合的联邦学习（FL）已广泛应用于移动边缘计算（MEC）网络，以处理移动客户端生成的大量数据。然而，现有的客户端采样方法没有充分考虑数据异构性和系统异构性。参数服务器选择不合适的客户端参与FL训练过程。这不可避免地导致全局模型的收敛速度变慢，能耗增加。在本文中，我们设计了一个客户端采样模型，目的是选择合适的客户端来提高异构MEC网络中FL的能源效率。然后，我们通过量化客户端的通信能力、计算能力和数据质量，提出了一种节能的客户端采样策略。

2024-11-03 10:11:58 1139 1

原创 Incentive-Driven Wireless Powered Federated Learning阅读和学习

联邦学习 (FL) 通过共享模型参数而不是原始数据来训练机器模型，可以保护终端设备工人 (EW) 的数据隐私。然而由于能量限制和自私心理，EW 可能不愿意参与或者训练缓慢，从而影响全局 FL 模型的性能。为了解决这些问题，我们提出了一个基于三阶段 Stackelberg 博弈的无线供电 FL 框架，以激励所有参与者参与系统，同时确保 FL 任务的成功完成。具体来说，基站（BS）发布FL任务，希望以较低的成本获得更好的FL模型。EW训练本地FL模型，希望以更少的能耗获得更多的报酬。

2024-10-23 09:39:23 664

原创 Communication-Efficient Learning of Deep Networks from Decentralized Data论文代码复现

这两天看了一下《Communication-Efficient Learning of Deep Networks from Decentralized Data》论文，感兴趣的同学可以去看看我上一个博客，然后根据论文还有问gpt写了一下相关代码，如果有问题欢迎指正。

2024-10-11 17:37:17 364 1

原创 Communication-Efficient Learning of Deep Networks from Decentralized Data论文阅读和学习

现代移动设备可以访问大量适合学习模型的数据，这反过来可以大大改善设备上的用户体验。例如，语言模型可以改善语音识别和文本输入，图像模型可以自动选择好的照片。然而，这些丰富的数据往往对隐私敏感，数量庞大，或两者兼而有之，这可能会妨碍使用传统方法登录数据中心并在那里进行训练。我们提倡一种替代方案，将训练数据分布在移动设备上，并通过聚合本地计算的更新来学习共享模型。我们将这种分散的方法称为联邦学习。

2024-10-11 16:22:06 659 1

原创 CO-DETR追踪损失函数情况

参考之前的博客，记录co-detr训练推理过程将自己的数据集转化为coco格式便于CO-DETR训练，现在因为训练后AP不高，需要找到loss函数，保存最好的pth文件，还可以做出loss函数和epoch的图像，观察loss函数是不是在稳定下降还是说波动比较剧烈。提示：以下是本篇文章正文内容，下面案例可供参考。

2024-09-29 17:13:32 509 2

原创将自己的数据集转化为coco格式便于CO-DETR训练

参考上篇博客，记录co-detr训练推理过程，现在需要用其他的数据集进行训练，先要研究当前数据集的json文件格式，提取出这些内容进行填充"id": 1,},],"id": 246,],"bbox": [0,0,3840,],},],"id": 1,}]

2024-09-29 16:43:35 535

原创 Knowledge Graph Driven Inference Testing for Question Answering Software--论文阅读和学习

随着自然语言处理领域的发展，问答（QA）软件已经渗透到我们的日常生活中。由于数据驱动的编程范式，QA软件不可避免地包含bug，即在现实应用程序中的错误行为。目前的QA软件测试技术包括两种方面，基于参考的测试和变质测试（变形测试）。QA软件中的reference-based testing和metamorphic testing是两种常见的测试方法，用于验证问答软件的性能和准确性。以下是对这两种方法的详细说明：1. Reference-based Testing（基于参考的测试）

2024-09-25 20:18:15 1902 1

原创麻省理工学院 - MIT - 线性代数学习笔记

由上式可知，我们把左边的矩阵（初等矩阵）当成3个1*3的行向量，右边的结果的第一行=左边第一行的第一个数 * 中间第一行 + 左边第一行的第二个数 * 中间第二行 + 左边第一行的第三个数 *中间第三行，所以结果为：1,0,0，以此类推第二行为-3,1,0（-3 * 中间第一行+1 * 中间第二行），第三行为0,0,1。如果还是不明白，因为我们已经知道A * A逆=A逆 * A=E，所以下面那个式子还可以写成，A转置的逆*A的转置=E，逆矩阵又是唯一的，所以A逆的转置=A转置的逆。（同理也可以去掉列一）

2024-07-20 18:00:14 1928 3

原创 PyTorch 深度学习实践-循环神经网络（高级篇）

用ASCII表作为词典，长度为128，每一个值对应一个独热向量，比如77对应128维向量中第77个位置为1其他位置为0，但是对于embed层只要告诉它哪个是1就行，这些序列长短不一，需要padding到统一长度。它会将填充后的嵌入和实际序列长度作为输入，并返回一个打包后的序列，便于 RNN 处理。，判断句子是哪类（0-negative，1-somewhat negative，2-neutral，3-somewhat positive，4-positive）情感分析。在准确率最高点save模型。

2024-07-18 12:50:32 1067 1

原创 PyTorch 深度学习实践-循环神经网络基础篇

嵌入层的主要作用是将离散的词汇映射到连续的向量空间中，从而为RNN提供密集的、低维的输入表示，这比直接使用稀疏的one-hot编码更为高效。，但是这个线性层是共享的，如下图，每次把hi和xi+1计算得到的hi+1传送到下一层进行计算，同时xi+1还需要通过某种运算融合xi的信息（比如求和、求乘积等）h0是先验知识，比如对于图像生成文本，可以先通过cnn+fc生成h0，也可以把h0设成和h1等统一维度的向量，值都设成0。多头注意力机制是自注意力的扩展，它通过多个注意力头（head）来捕获不同的特征子空间。

2024-07-18 12:46:21 1493

原创 PyTorch 深度学习实践-卷积神经网络高级篇

而中间先经过一个1 * 1的卷积再经过一个5 * 5的卷积得到 32 * 28 * 28的输出运算为：1^2 * 28^2 * 192 * 16 + 5^2 + 28^2 * 16 * 32 = 12433648。跳连接：将H(x)的输入再加一个x，求导的时候x`=1，那么就算梯度很小也是将近于1，多个这样的数相乘梯度还是不为0，能解决梯度消失的情况，其中F(x)和x应该尺寸相同。3.复现经典工作：先读代码，训练架构，测试架构，数据读取架构，损失函数怎么构建的，根据论文讲的东西自己去写。

2024-07-18 12:38:59 1575 1

原创 PyTorch 深度学习实践-卷积神经网络基础篇

(batch, 1, 28, 28) ->卷积(1, 10, 5)->(10, 24, 24) ->下采样2->(10, 12, 12)->卷积(10, 20, 5)->(20, 8, 8)->下采样2->(20, 4, 4)->卷积(20, 10, 5, padding=2) ->(10, 4 ,4)->下采样(10,2,2)摊平view(batch_size, -1)->l1(40, 32)->l2(32, 16)->l3(16, 10)卷积层用三个，relu三个，池化三个，线性层三个，对比性能。

2024-07-18 12:33:41 1437

原创 PyTorch 深度学习实践-基于SoftMax的多分类

比如说0-9分类问题，如果y = torch.LongTensor([3])，对应的one-hot是[0,0,0,1,0,0,0,0,0,0].(这里要注意，如果使用了one-hot，标签y的类型是LongTensor，糖尿病数据集中的target的类型是FloatTensor)知识点：SoftMax激活函数，多分类交叉熵CrossEntropyLoss，图像transform预处理，训练测试单独封装，Y是经过独热编码后的值，只有一个概率最大的为1，计算损失只要计算Y为1的Y_hat的损失。

2024-07-18 12:30:11 1488

原创 PyTorch 深度学习实践-加载数据集

在深度学习时用min-batch来平衡训练时间和性能上的需求，之后训练周期要写成两层嵌套循环。epoch：所有训练样本进行完一次前向和反向传播，batch-size：训练的时候的样本数量，Iteration：总训练数据/训练样本数集成了dataset之后编写的类就可以用dataset的功能了训练的代码要用main包装起来解释：数据集，批数据大小，是否打乱，构成batch读取数据的时候是不是要用多线程，几个并行的线程1、需要mini_batch 就需要import DataSet和DataLoader。

2024-07-18 12:25:42 1237

原创 PyTorch 深度学习实践-处理多维特征的输入

3、该神经网络共3层；第一层是8维到6维的非线性空间变换，第二层是6维到4维的非线性空间变换，第三层是4维到1维的非线性空间变换。可以自己随意在Model类中改torch.nn.Linear的变换，尝试后发现激活函数改成ReLU比sigmod最后得到的精确率高一些。说明：1、乘的权重(w)都一样，加的偏置(b)也一样。神经网络的参数w和b是网络需要学习的，其他是已知的。 4、本算法中torch.nn.Sigmoid() # 将其看作是网络的一层，而不是简单的函数使用。

2024-07-18 12:21:58 554

原创 PyTorch 深度学习实践-逻辑斯蒂回归

sigmod的函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，常被用作神经网络的激活函数，将变量映射到0,1之间。-------------摘自《百度百科》sigmod函数也叫作Logistic函数，用于隐层神经单元输出，取值范围为（0,1），它可以将一个实数映射到（0,1）的区间，可以用来做二分类。在特征相差比较复杂或者相差不是特别大的时候效果比较好。说明：1、逻辑斯蒂回归和线性模型的明显区别是在线性模型的后面，添加了激活函数(非线性变换)

2024-07-18 12:20:22 494

原创用pytorch实现线性回归

self.linear(x)也由于魔法函数call的实现将会调用torch.nn.Linear类中的forward，至此完成封装，也就是说forward最终是在torch.nn.Linear类中实现的，具体怎么实现，可以不用关心，大概就是y= wx + b。8、torch.nn.MSELoss也跟torch.nn.Module有关，参与计算图的构建，torch.optim.SGD与torch.nn.Module无关，不参与构建计算图。因此新写的类中需要重写forward()覆盖掉父类中的forward()

2024-07-18 12:18:27 691

原创 PyTorch 深度学习实践1-3讲

3、本算法中的随机梯度主要是指，每次拿一个训练数据来训练，然后更新梯度参数。本算法中梯度总共更新100(epoch)x3 = 300次。梯度下降法中梯度总共更新100(epoch)次。1、损失函数由cost()更改为loss()。cost是计算所有训练数据的损失，loss是计算一个训练数据的损失。2、梯度函数gradient()由计算所有训练数据的梯度更改为计算一个训练数据的梯度。随机梯度下降法在神经网络中被证明是有效的。学习三步骤：1准备数据集2.选择/设计模型3.训练4.应用层：推理。

2024-07-18 12:14:41 426

原创创建虚拟环境运行torch和torchvision相关代码遇到的问题

确定全都没有后，查看原来base环境下的matplotlib版本，numpy等等按相同版本安装最后才正常运行。首先因为自己的电脑用的anaconda是py3.10，所以创建虚拟环境的时候也要输入。输入"conda activate 环境名" 可以进入新环境，在。以上是我执行过程，建议全用conda install 好一些。这行代码总出错，先把原来的都卸载掉，通过。

2024-07-12 22:02:22 337

原创 CO-DETR利用coco数据集训练和推理过程

环境：PyTorch 1.11.0 Python 3.8(ubuntu20.04) Cuda 11.3先是在github上下载CO-DETR模型!然后加载所需库!安装mmcv等（注意mmcv应该是1.6.1版本及以上）!!!因为出现了mmdetection 报错 TypeError: FormatCode() got an unexpected keyword argument ‘verify‘问题，用一下方案解决： yapf版本过高，目前版本为 0.40.2，重装低版本yapf即可!!

2024-06-28 19:59:53 3667 8

原创《人性的弱点》关键句子摘要

这几天读了《人性的弱点》这本书，在此记录一下其中的核心要点，希望自己未来也能慢慢提高与人沟通的技巧。

2024-06-19 22:36:47 608

原创鱼书第三章：下载mnist数据集失败解决方案

将上述四个压缩包放入dataset文件夹中，注意dataset文件夹应在以下目录中。

2024-06-14 16:31:05 857 1

原创 git push --set-upstream origin master时超时失败的解决方案

在你的git init的本地仓库目录，执行命令。输入git.acwing的账号名和密码就能成功。使用https协议，不要使用ssh协议。然后把里面的url配置项从git格式。修改为https格式。

2024-01-18 16:29:46 1209 1

原创物联网时代的访问控制研究综述

随着物联网技术的发展，各种类型的信息，如社会资源和物理资源，被深度集成，用于不同的综合应用。社交、车联网、医疗服务、视频监控等形式的物联网信息服务模式逐渐改变着人们的日常生活。面对海量的物联网信息数据，物联网搜索技术被用来快速找到准确的信息，以满足用户的实时搜索需求。然而，物联网搜索需要使用大量用户私人信息，如个人健康信息、位置信息和社会关系信息，以提供个性化服务。如果在物联网搜索过程中缺少有效的访问控制机制，使用用户的私人信息将遇到安全问题。访问控制机制可以有效地监控资源的访问活动，确保授权用户在合法条件

2023-12-14 20:42:31 850

原创 ChatGLM3-6B和langchain知识库阿里云部署

看了几天chatglm和langchain的部署，经过不断报错，终于试出了可以运行的方案，不过本地知识库搭建还有问题，要再看看。本文主要介绍ChatGLM3-6B的部署和实现效果，和Chatglm2-6b+langchain结合的实现效果。提示：以下是本篇文章正文内容，下面案例可供参考。

2023-12-10 14:34:01 7426 19

原创 acwing-Linux学习笔记

简单的介绍tmux与vim开发项目时的两个编辑环境，此为开发项目时所必备tmux作用1.分屏：可以在一个开发框里分屏2.允许terminal在连接断开之后可以继续运行，让进程不会因为断开连接而中断结构一个tmux可以有一堆session每个sesion可开很多的window每个window可以开很多pane每个pane可以打开一个shell交互如图所示：常规操作前言:tmux创建一个session，session中包含一个window，一个界面就是一个window。

2023-12-04 18:19:20 2177

原创物联网中基于信任的安全性调查研究：挑战与问题

随着物联网在社会中的应用越来越多，它面临的安全挑战也越来越严峻。物联网中收集和共享的数据在物联网的重要性中发挥着重要作用。从数据角度进行观察可能对理解物联网安全有很大帮助。尽管已经有许多关于物联网安全的调查，但没有一项是从这样的角度进行的。为了填补这一空白，本文从数据角度研究了物联网安全。本文将典型物联网架构的概念与数据生命周期相结合，提出了一种探索物联网安全的三维方法，即一站式、多站式和终端应用维度。一站式维度通过观察物联网设备上的数据来探索物联网安全，多站式维度则通过观察一组物联网实体之间的数据来探究，

2023-11-25 12:55:52 1550 2

Retrieval-Augmented Generation讲解

数据库课设--软件工程教材共享系统

java实验报告（免费下载）

java实验报告（Java课的练习）

数据库系统实验报告(educoder版)

根据javaweb重点画的题目，有的有相应答案

空空如也