论文阅读笔记——D3: Differential Testing of Distributed Deep Learning With Model Generation

最新推荐文章于 2025-11-30 22:23:34 发布
原创 最新推荐文章于 2025-11-30 22:23:34 发布 · 1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #笔记 #网络安全 #分布式深度学习 #PyTorch #tensorflow

D3 论文
以往研究关注训练好的模型是否存在错误行为，本文关注构建和训练模型的代码本身是否存在问题。构建了一个分布式等价规则：1）分布式与非分布式等价（在单 GPU 与多 GPU 上训练的模型等价）；2）不同分布式设置等价（使用列式分片（column-wise sharding）训练的模型和使用行式分片（row-wise sharding）训练的模型，对于相同的输入，输出应该是等价的）。
在这里插入图片描述

分布式参数：

  • 世界大小（world size）：分布式集群中的处理器数量，例如在 GPU 训练中，就是 GPU 的数量。
  • 分片类型（sharding type）：模型分片的方式，例如列式分片和行式分片。
  • 设备（device）：使用的硬件设备，如 GPU 或 CPU。
  • 权重量化（weight quantization）：模型权重的量化方式，例如 int8。
  • 激活量化（activation quantization）：激活函数的量化方式，例如 float16。
  • 分片器类型（sharder type）：用于分片的具体工具或方法，例如 EmbeddingBagSharder。
    通过系统地生成和组合分布式参数的候选值，D3能够生成大量多样化的分布式设置。这些设置用于测试分布式深度学习库，确保在不同设置下模型的输出等价。
    在这里插入图片描述
类型 方法
DLRM 类结构 变异稀疏组件（Embedding）、密集组件（线性层）、交互组件（均值、sigmoid）
其他结构 使用 Muffin 生成链式结构和基于单元的结构模型
层冻结模型 随机冻结模型中的一个层（trainable=False或requires_grad=False），测试层冻结模型以检测转换引入的不一致性
模型输入 根据模型的输入层参数生成输入
最低0.47元/天 解锁文章
[论文解读] DLFuzz: Differential Fuzzing Testing of Deep Learning Systems
年糕的博客
05-14 4334
DLFuzz: Differential Fuzzing Testing of Deep Learning Systems 文章目录DLFuzz: Differential Fuzzing Testing of Deep Learning Systems简介摘要动机DLFUZZ方法架构算法结论结论 简介 论文标题 DLFuzz: Differential Fuzzing Testing of Deep Learning Systems DLFuzz：深度学习系统的差分模糊测试 2018.12 DLFuz
Deep Learning with Differential Privacy论文阅读
2201_75402740的博客
09-07 1316
提到建立了一种可以实现差分隐私的框架，并对隐私成本进行了精细的分析。并提到了这个新算法颇有成效。提出了三个主要工作：第一点提到追踪隐私损失的详细信息能更准确地估计隐私损失，后续文章应该会提到如何追踪和追踪哪些详细信息2.第二点主要提到了将任务分为更多小的批次以减少memory footprint，后续应该会提到划分的方法，可以关注3.测试后发现有较好表现，可以在后续图像上观察到。
DeepXplore: Automated Whitebox Testing of Deep Learning Systems 论文笔记
yh991314的博客
03-30 4555
DeepXplore，这是第一个系统测试真实DL系统的白盒框架。首先，我们引入神经元覆盖来系统地测量由测试输入执行的DL系统的部分。接下来，我们利用具有类似功能的多个DL系统作为交叉引用预言来避免手动检查。最后，我们演示了如何为DL系统找到既能触发许多差分行为又能实现高神经元覆盖率的输入，这可以表示为一个联合优化问题，并使用基于梯度的搜索技术有效地解决。
论文阅读：Deep Learning with Differential Privacy
三金samkam的博客
01-25 5958
论文名字 Deep Learning with Differential Privacy 来源 会议 23rd ACM （CCS2016） 年份 2016.10 作者 Martín Abadi, Andy Chu, Ian Goodfellow, H. Brendan McMahan, Ilya Mironov, Kunal T alwar, Li Zh...
Deep Learning with Differential Privacy论文阅读笔记
SXxtyz的博客
03-17 3223
摘要 以神经网络为基础的机器学习在大量的领域取得了卓越的成就。通常来讲，模型训练需要大量典型的数据集，它们可能是外包的并且包含一些敏感信息。模型不该在这些数据集中暴露隐私。为了解决这一目标，我们提出了新的算法进行学习，以及差分隐私框架下隐私成本的改良分析。我们的实验证明我们可以使用非凸目标训练深度神经网络，在中等的隐私预算、可控的软件复杂度成本、训练效率和模型质量条件下。 我们综合当前最新的机器学习方法和改进的隐私保护机制，在中等隐私条件下训练神经网络模型。我们训练模型使用非凸目标、多个层次、上万个参数。
【论文笔记】Deep Learning with Differential Privacy
weixin_42106022的博客
09-11 3143
【论文笔记】Deep Learning with Differential Privacy 原文：Deep Learning with Differential Privacy The Moments Accountant Moments Accountant 跟踪隐私损失随机变量的矩的界限。它推广了跟踪 (ε，δ) 的标准方法，并使用了 strong composition theorem。虽然这种改进以前用于组合高斯机制，但是我们表明它也适用于用随机采样的合成高斯机制，并且可以提供更严格隐私损失估计。{
论文笔记：Deep Learning for Trajectory Data Management and Mining: A Survey and Beyond
qq_40206371的博客
03-30 3966
时空点 p 是一个独特的实体，形式为 (o, t, l, f)移动对象 o 在时间戳 t 下访问位置 l，并带有一个可选属性特征 f。
差分隐私相关论文(2) —— Deep Learning with Differential Privacy, Abadi 2016
echoKangYL的博客
06-07 5670
对Abadi 2016年发表在安全顶会CCS上面的论文Deep Learning with Differential Privacy进行深入分析
论文阅读总结(七)：DeepXDE: A Deep Learning Library for Solving Differential Equations
qq_32599109的博客
05-10 3337
这篇文章是关于深度学习求解偏微分方程的内容，作者对PINN(Physical Informed Neural Network)一文提出的方法进行了归纳总结，从理论层面分析了PINN解偏微分方程的可行性以及提出了改善PINN训练效率的方法，并对PINN与传统的有限元素法(FEM)进行了比较，最后作者将PINN做成了一个名为DeepXDE的python库。 PINN算法和理论分析： 深度神经网络： 深度神经网络在数学层面可以理解为一个复合函数，最简单的神经网络是前馈神经网络，本文求解偏微分方程使用的前馈神经网络
论文阅读笔记——Enhancing Differential Testing With LLMs For Testing Deep Learning Libraries
Multiple_x的博客
06-07 677
Enhancing Differential Testing With LLMs For Testing Deep Learning Libraries 论文阅读笔记
[论文阅读] AI + 编码 | Agint：让LLM编码代理告别“混乱”，用图编译打通自然语言到可执行代码的任督二脉
张较瘦
11-29 714
LLM编码代理日益普及，但面临上下文管理、延迟、可靠性、可复现性及扩展性挑战。本文提出Agint——一款agentic图编译器、解释器与运行时，可将自然语言指令增量转换为类型化、效果感知的代码DAG。Agint引入TEXT→TYPED→SPEC→CODE的显式类型层，结合混合LLM/函数JIT运行时，支持动态图优化、可复现执行及与开发工具的互操作性。其DAG结构确保并发安全性与可组合性，支持小模型低延迟执行、大模型按需调用；还提供dagify、dagent等Unix风格工具链及GUI，赋能技术与非技术用户协
【论文阅读笔记】IDAQ：离线元强化学习中的分布内在线适应
iiiiii11的博客
11-29 368
本文介绍了一种解决离线元强化学习中转移-奖励分布偏移问题的新方法IDAQ，通过理论分析和实验验证展示了其优越性能。
[论文阅读] AI + 软件工程 | 首测GPT-4.1/Claude Sonnet 4适配能力：LLM多智能体在SE领域的潜力与局限
张较瘦
11-30 952
本文开展首个关于LLM-based多智能体系统在软件工程（SE）数据集适配任务的实证研究。为实现SE研究工件跨数据集的自动化适配（提升可扩展性与可复现性），以搭载GPT-4.1和Claude Sonnet 4的GitHub Copilot为研究对象，针对ROCODE、LogHub2.0等基准仓库，设计五阶段评估流程（文件理解、代码编辑、命令生成、验证、最终执行），衡量成功率、分析失败模式，并验证提示干预效果。结果表明：当前系统可识别关键文件、生成部分适配代码，但极少产出功能正确的实现；而“提供执行错误信息”
DeepSeek-Math-V2论文阅读
weixin_49891405的博客
11-29 553
基座模型。这是一个已经经过“数学和代码推理数据”监督微调（SFT）的版本，具备了基础的推理能力。训练目标：将这个模型训练成一个Verifier（验证者）。输入输出输入：题目XiX_iXi​+ 待验证的证明YiY_iYi​。输出：验证分析文本Vi′V'_iVi′​（包含具体的评价理由）+ 提取出的分数si′s'_isi′​。
Contrastive pseudo learning for openworld deepfake attribution 超细致论文笔记，第一次读论文
weixin_72953218的博客
11-30 698
早期方法侧重 GAN 生成图像，忽略了 “身份替换 / 表情迁移” 这类更逼真、威胁性更强的伪造攻击；：大多基于封闭场景设计 —— 训练集与测试集的类别分布一致（训练时见过的类型，测试时才需要判断，无新类型），无法适配 “开放世界”（测试时会出现训练未见过的伪造类型）；：真实场景中标注的伪造人脸数据少，但未标注数据多，传统监督学习难以利用海量未标注数据。现有方法的局部性:现有方法主要关注样本的全局相似性，忽略了可能表明篡改的伪造人脸图像的局部一致性，解决方法 - 全局和局部特征。
C语言学习笔记(1)——输入输出，数据类型
最新发布
DK3314219995的博客
11-30 811
CPU的位数主要决定了其通用寄存器的宽度，这直接影响CPU单次操作能处理的数据量和理论上能直接寻址的内存空间范围，但实际实现可能受地址总线宽度、操作系统和硬件架构的影响。
996PC端 传奇游戏架设笔记
酷酷的鱼 - 网络编程,服务器安全专栏
11-30 153
2、有些版本有自己增加的NPC或者武器、所以就会有版本补丁，需要在JpkList.txt增加补丁所在地址和解析密码、并且把补丁文件复制到热血传奇客户端安装目录下。多个版本的时候 在MirServer采用多个不同名称的文件夹即可，游戏区端口要选择不一样的。3、然后打开登录生成器、确保版本资源目录是对的，然后资源读取规则，需要设置成你热血传奇安装目录。4、确保当前登录生成器里面的授权密钥跟GameServer的登录网关->安全过滤设置->登录器识别码密钥写的是一样的。1、服务器需要安装VC++扩展包。
Compose笔记(五十七)--snapshotFlow
ljt2724960661的博客
11-29 576
这一节主要了解一下snapshotFlow，在Compose开发中，snapshotFlow是连接Compose状态与协程流的核心...
vivado FFT IP 学习及仿真笔记
在读研究生，偏FPGA功能设计
11-30 665
本文介绍了FFT（快速傅里叶变换）的基本原理及其IP核实现方法。主要内容包括：1）FFT作为DFT的快速算法，其计算结果与DFT一致；2）FFT IP核的驱动逻辑，详细解析了AXI4-Stream协议接口及配置参数；3）FFT IP核的配置方法，涵盖架构选择、数据格式、缩放选项等关键设置；4）通过Matlab和Verilog仿真对比验证了FFT IP核的正确性，结果显示与理论值误差在±3以内。文章还提供了相关参考资料，为FPGA实现FFT提供了实用指导。
Learning the solution operator of parametric partial differential equations with physics-informed DeepONets
08-14
Physics-informed DeepONets represent a novel approach in the intersection of machine learning and computational physics, particularly for solving parametric partial differential equations (PDEs) by learning their solution operators. These networks integrate physical laws and constraints directly into the training process, thereby enhancing the model&#39;s ability to generalize and maintain accuracy across different parameter configurations. DeepONets, or Deep Operator Networks, are designed to approximate nonlinear operators, which are mappings between infinite-dimensional spaces. In the context of PDEs, these operators map input parameters (such as coefficients, boundary conditions, or source terms) to the corresponding solutions of the PDEs. By embedding the physics of the problem into the loss function, physics-informed DeepONets ensure that the learned solutions adhere to the underlying physical principles, even when limited data is available for training. The architecture of a physics-informed DeepONet typically consists of two main components: a branch net and a trunk net. The branch net processes the input parameters, while the trunk net handles the spatial or temporal coordinates where the solution is to be predicted. The outputs of these two networks are combined through an inner product to produce the final output, which represents the solution of the PDE at specific points in the domain. Training a physics-informed DeepONet involves minimizing a loss function that includes both data fidelity terms and terms that enforce the satisfaction of the PDE and its boundary/initial conditions. This is achieved by computing the residuals of the PDE at collocation points using automatic differentiation, a process that does not require explicit knowledge of the solution form. Consequently, the network can be trained without the need for large datasets of precomputed solutions, making it a powerful tool for scenarios where data collection is expensive or time-consuming. One of the key advantages of this method is its ability to handle high-dimensional problems efficiently, as the complexity of the operator approximation scales more favorably with dimensionality compared to traditional discretization-based methods. Moreover, once trained, the DeepONet can rapidly evaluate the solution operator for new parameter values, enabling real-time simulation and uncertainty quantification. ```python # Example of defining a simple DeepONet structure using PyTorch import torch import torch.nn as nn class DeepONet(nn.Module): def __init__(self, branch_layers, trunk_layers): super(DeepONet, self).__init__() self.branch = self._build_network(branch_layers) self.trunk = self._build_network(trunk_layers) def _build_network(self, layers): network = [] for i in range(len(layers)-1): network.append(nn.Linear(layers[i], layers[i+1])) if i < len(layers) - 2: network.append(nn.ReLU()) return nn.Sequential(*network) def forward(self, branch_input, trunk_input): b = self.branch(branch_input) t = self.trunk(trunk_input) return torch.einsum(&#39;bi,ti->bt&#39;, b, t) # Instantiation of a DeepONet with specified layer sizes model = DeepONet(branch_layers=[10, 40, 40, 40], trunk_layers=[2, 40, 40, 40]) ``` The application of physics-informed DeepONets extends beyond academic interest; they have practical implications in fields such as fluid dynamics, solid mechanics, and financial modeling, where parametric PDEs are prevalent. By leveraging the strengths of deep learning and incorporating physical knowledge, these networks offer a promising avenue for addressing complex, real-world problems that were previously computationally prohibitive.
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值