weixin_74009895的博客

原创 FEDGLOSS算法BEYOND LOCAL SHARPNESS:COMMUNICATION-EFFICIENT GLOBALSHARPNESS-AWARE MINIMIZATIONFOR

：用上一轮伪梯度最小化锐度，获取与全局损失最相关的几何信息，引导全局优化趋向更平坦的最小值。效果对比分析：FEDGLOss。

原创 google/vit-base-patch16-224-in21k(VIT)个基于 Vision Transformer (ViT) 架构的图像分类模型下载

是一个基于架构的图像分类模型。该模型在数据集上进行了预训练，该数据集包含 1400 万张图像和 21,843 个类别。它主要用于图像分类任务，也可以用于特征提取等下游任务。

原创 peft微调大模型LORA的基础教程！

第二部分：使用transformer下载大模型（0）配置（1）下载gpt2(这个模型大小比较小)用途：存储模型的权重（参数）。说明：这是模型的核心部分，包含了模型在训练过程中学到的知识。 是一种安全的存储格式，用于保存模型权重。用途：定义模型的结构和超参数。说明：包含模型的配置信息，例如层数、隐藏单元数、注意力头数等。这是初始化模型时必需的文件。用途：分词器的完整配置文件。说明：用于初始化分词器，定义了分词器的行为和规则。用途：词汇表文件。说明：定义了分词器使用的词汇表，包含每个词或

原创 “ImportError: cannot import name ‘clear_device_cache‘ from ‘accelerate.utils.memory‘”解决方法

比如我原先的版本是0.21.0。

原创 ModuleNotFoundError: No module named ‘torch.distributed.tensor‘问题解决方法

【代码】ModuleNotFoundError: No module named ‘torch.distributed.tensor‘问题解决方法。

原创 A module that was compiled using NumPy 1.x cannot be run inNumPy 2.0.2 as it may crash. To support

【代码】A module that was compiled using NumPy 1.x cannot be run inNumPy 2.0.2 as it may crash. To support。

原创 CondaError: Failed to write to /home/zjc/.conda/pkgs/mkl-.1.0-h213fc3f_46344.conda errno服务器空间不足问题

pip下载包的时候突然出现错误，这个也就是代表空间不足了。

原创 pycharm（必须是专业版）使用SSH连接服务器

注意要先连接好自己学校的vpn（如果需要的话）使用which python查看自己的环境路径：效果：远程linux服务器的要修改一下：然后点击创建。

原创 在Windows上和linux上查看配置的环境的位置

【代码】在Windows上和linux上查看配置的环境的位置。

原创 “泰勒公式展开”定理（用来近似计算，简化计算）

原创 线性算子的介绍

原创 “链式法则”具体讲解

是微积分中用于求的核心规则，其本质是拆解复合函数的求导过程，层层计算各层函数的导数并相乘。

原创 微分中值定理（包含罗尔定理、拉格朗日中值定理和柯西中值定理 ）具体讲解

原创 L1和L2范数的含义

原创 Cauchy-Schwarz 不等式（柯西 - 施瓦茨不等式）具体讲解

Cauchy-Schwarz不等式是数学中的一个基本不等式，广泛应用于线性代数、泛函分析以及概率论等领域。它描述了内积空间中两个向量的内积与它们范数之间的关系。

原创 Lipschitz（利普希茨）详细讲解

Lipschitz 连续性是一种数学概念，用于描述函数的变化率是否受到限制。简单来说，如果一个函数是 Lipschitz 连续的，那么它在定义域内的任何两点之间的输出值的变化不会超过这两个点之间输入值变化的某个固定倍数。这个固定倍数称为 Lipschitz 常数。

原创 内积的具体讲解

原创 word中把向下箭头改为回车箭头

想把这个向下箭头改为回车箭头。

原创 vscode配置python环境

参考博客（从第三部分开始只看下载和安装）：Visual Studio Code + vue快速安装配置Node.js+Vue+webpack+vscode_visual studio code node.js配置-优快云博客到如下步骤： 下载完成后，按键进入命令面板，输入language。然后重启就可以了。在代码文件中按键进入命令面板，输入可选择当前项目的python解释器（如果安装了多个版本的python）：创建一个文件夹：然后再vscode中打开文件夹得到：新建一个python文件：输入代码：

原创 “unable to write authority file /home/zjc/.Xauthority-n”解决方法

然后发现有两个文件Xauthority：然后把文件上传到服务器，发现，全是0Bytes。

原创 mathtype问题“更新公式编号（&U）更新公式编号似乎很慢，您可以使用 MathType 菜单上的格式化公式编号命令关闭公式程自动编号更新”解决方法

mathtype问题“更新公式编号（&U）更新公式编号似乎很慢，您可以使用 MathType 菜单上的格式化公式编号命令关闭公式程自动编号更新”解决方法

原创 错误 : 无法执行命令 : pdflatex.exe -synctex=1 -interaction=nonstopmode “texstudio_PJDWUv“.tex解决方法

错误 : 无法执行命令 : pdflatex.exe -synctex=1 -interaction=nonstopmode "texstudio_PJDWUv".tex没有发现 C:/Users/wwwju/AppData/Local/Temp/texstudio PJDWUv.pdf,可能该文件已经被删除.

原创 错误，未定义书签解决方法

选中之前的目录：按住ctrl+shift+f9即可。

原创 wps中公式mathtype显示不全问题

发现公式显示不全，下面缺失了。

原创 辣椒炒鸡胸肉美食汇总

①将鸡胸肉切成小块，不要太厚②加入香醋，盐，生抽，胡椒粉，淀粉，手抓腌制10分钟③锅中倒油，加入肉块，小火转中火翻炒④倒出肉块，开始倒入红辣椒和青辣椒以及葱蒜，加入肉块，生抽，鸡精，翻炒即可。

原创 可乐鸡翅制作方法

①首先将鸡翅双面用刀切两个竖直口②向锅中倒入冷水，加上鸡翅，倒入料酒/香醋，生抽，姜片，煮至百出白泡③捞出鸡翅，锅中倒油，加入鸡翅，煎至双面泛黄，加入姜片，生抽，鸡精，可乐④10-20分钟，大火10分钟即可，小火20分钟，等到可乐蒸发接近完毕，肉质鲜嫩可口即可。

原创 批量更改mathtype中的公式格式

我想要设置特定的公式格式，比如数字是竖直的，字母和变量是倾斜的。

原创 西兰花炒虾仁

①先把西兰花切成小块，加盐，浸泡5分钟②把西兰花放到开水中，加少量炒油，5分钟，软化③调料：蒜，鸡精，面粉，矿泉水，生抽，加少量盐（前面浸泡的时候已经加过了）④开始炒虾仁，将其炒至泛黄⑤加入西兰花和调料，再炒5-8分钟即可。

原创 使用deepseek识别公式粘贴到word

指令：帮我识别这个公式，并插入到word中。

原创 编写一个能够将数据按列进行排名的python代码实现

【代码】编写一个能够将数据按列进行排名的python代码实现。

原创 draw.io整合word

之后会自动打开word:具体导入步骤如下：点击插入：

原创 查找某一领域的发展进展免费网站mylens.ai

Visualize Any Information with AI | MyLens效果：

原创 第39篇On the Convergence of Zeroth-Order Federated Tuning forLarge Language Models（fedmezo首次零阶优化+lora）

推理是指将输入数据（如图像、文本）输入到训练好的模型中，生成输出结果（如分类标签、翻译文本）的过程。例如，用训练好的语言模型回答用户问题时，模型需要处理输入文本并生成响应，这一过程即为推理。

原创 word/wps导入svg（svg转emf工具）

SVG到EMF转换器- FreeConvert.com开始转换:下载：效果：直接复制emf文件到word/wps中即可。

原创 PDF转SVG在线免费工具

上传pdf，然后转换：转换完了可以下载：

原创 pdf转图片,转word免费工具freeconvert（转svg，转图片样样都可以）

选择输出格式进行转换即可！

原创 draw.io如何添加大括号符号

用有道词典（因为只支持英文搜索），查找大括号的英文：然后打开draw.io，搜索：

原创 第38篇：Adaptive Personalized Federated Learning（APFL）算法（个性化联邦学习）

在传统的联邦学习中，主要目标是训练一个全局模型，使其在所有参与客户端上表现良好。然而，由于客户端数据的非独立同分布（non-IID）特性，全局模型可能无法很好地适应每个客户端的本地数据，导致本地模型的性能受限。：为了提升每个客户端的本地模型性能，研究者们开始关注个性化联邦学习。个性化的目标是让每个客户端在贡献全局模型的同时，训练出适合本地数据的个性化模型。

原创 第37篇Personalized Federated Learning: A Meta-Learning Approach（perfedavg联邦学习+元学习）2020个性化联邦学习使用Hessian

联邦学习（FL）在多用户协同训练模型时，因数据隐私和通信限制，用户仅与中央服务器交互。传统 FL 方法得到的全局模型无法适应各用户的异质数据，导致在用户本地数据集上性能不佳因此这篇论文旨在解决联邦学习中模型缺乏个性化的问题。

原创 deepseek+GraphvizOnline流程图升级版（DOT语言）（这个是除了mermaid的另一种绘图形式）

使用deepseek获得下面的流程图代码（GraphvizOnline形式）：rankdir=LR;A [label="开始"];B [label="初始化配置"];C [label="加载/生成数据索引"];D [label="创建参数服务器"];E [label="创建数据工作节点"];F [label="进入全局训练循环"];G [label="是否达到总epoch数?H [label="随机选择客户端"];I [label="遍历选中客户端"];