XueDaxuan-优快云博客

原创 Learning Rate Adaptation for Differentially Private Learning

中间定理7是MA的组合定理，是说隐私损失的总矩是小于等于各个机制之和的矩，因为算法G1和G2都是独立的，所以有了定理9，根据定理9，相同的参数值q，σ和C，算法2运行的迭代次数是DP-SGD的一半。并且通过MA说明了该算法的优点。最右边是ADADP算法，可以看到他和DPSGD不同的是，DPSGD是把数据划分为固定大小的批次，ADADP算法是在每一轮需要迭代两个小批次，用于分别计算G1和G2，因此需要迭代N/2B次，最后通过判断条件去改变模型的学习率。

2022-09-20 19:38:14 405

原创 LEARNING DIFFERENTIALLY PRIVATE RECURRENT LANGUAGE MODELS

为了在Bert模型获得差分隐私，也是利用了最简单的组合定理。第一篇文章将差分隐私应用在了大型的循环神经网络模型当中，保护LSTM语言模型的敏感信息，在联邦场景下下，添加用户级别的差分隐私，应用到下一个单词的预测中。从现在看来这篇文章的技术点其实很简单，但是之前把差分隐私和NLP结合起来的文章，隐私预算都是大于3的，这篇文章基于Bert模型，采用医学数据集MIMIC对模型进行修正，进行并行计算和较大的batchsize将隐私预算缩减至1，并且还能达到比较好的一个性能，这个就是文章最大的贡献。...

2022-07-28 13:42:39 853 1

原创 LARGE LANGUAGE MODELS CAN BESTRONG DIFFERENTIALLY PRIVATE LEARNERS

差分私有(DP)学习在构建文本的大型深度学习模型方面取得了有限的成功，而将差分私有随机梯度下降(DP-sgd)应用于NLP任务的直接尝试导致了较大的性能下降和高计算开销。(2)运行DP-SGD可能是内存密集型的，因为要裁剪每个示例的梯度。我们的实证研究表明，在适度的隐私预算下，直接微调预训练的DP优化模型可以在性能良好的DP语言模型中获得结果。1)我们表明，在适当的超参数和下游任务目标下，使用DP-SGD/DP-Adam进行微调的预训练语言模型在隐私级别ε∈{3,8}的一组NLP任务中产生了强大的性能。..

2022-07-19 17:12:57 800

原创 AdaCliP: Adaptive Clipping for Private SGD

motivation：相比DPSGD，同样的隐私保证下能够添加更小的噪声。methods：非凸函数下，通过梯度转换，限制方差，最终得到小噪声。重要知识点：提供隐私保护近似的一种常见技术是限制函数的灵敏度，并添加与灵敏度界成比例的高斯噪声。为此，我们需要在每一轮SGD中限制梯度的灵敏度。这可以通过几种方式实现。如果损失函数是可微的(如果不可微则使用子梯度)，并且有Lipschitz界，[16]用Lipschitz界对梯度范数设界，并利用它推导梯度的灵敏度。如果损失函数的导数作为输入的函数有界(例如，在逻辑回归

2022-07-12 10:03:02 657

原创高斯差分隐私

这篇文章的背景是说在深度学习下的隐私保护中，差分隐私在组合和采样等方面存在隐私退化问题，从而对训练神经网络进行隐私分析变得十分复杂。所以文章提出一种新的定义叫做f-DP，用于对训练神经网络进行细化的隐私分析。并且利用f-DP的组合和采样属性推导出SGD和Adam优化算法的隐私保证的表达式。在DP中，我们用概率分布来确定样本是否在两个数据集中，如果背景知识强大的攻击者不能够区分样本来自哪个数据集，那么证明这个随机算法是好的。那么从统计学假设检验的角度来看的话，我们可以把问题等价成，原假设H0和备择假设H1。将

2022-07-11 08:41:53 1591 1

原创机器学习基础知识

监督学习：回归和分类无监督学习：聚类用一张image去聚类然后生成一个3D空间图强化学习：利用一个学习算法，通过一系列的决策，让他学会什么是好什么是坏。程序操控直升机，当他下降给他说：bad ，如果做了正确的事情，上升就说good，有一个reward函数，需要找一个更多的good和更少的bad。这样直升机就会学会更多的good操作来获取更多的奖励。梯度下降：假设在一个三维小山坡，去找一个方向能让你下坡速度更快，就是梯度的方向，站到新的方向继续思考。（不同的初始起点，会造成不同的方向）随机梯度下降：用每一

2022-06-27 10:55:41 296

原创 DPNAS: Neural Architecture Search for Deep Learning with Differential Privacy

motivation：训练深度神经网络(DNNs)来实现有意义的差分隐私(DP)保证会严重降低模型的实用性。我们证明了dnn的架构在私人深度学习的背景下对模型效用有显著的影响，而其影响在以前的研究中基本上未被探索。鉴于这一缺失，我们提出了第一个框架，使用神经体系结构搜索来自动设计私有深度学习的模型，被称为DPNAS。methods：Based on our formulation, the design of our DPNAS framework includes three parts, which a

2022-06-05 16:59:33 355

原创 Differentially Private Learning with Adaptive Clipping

motivation：这篇文章是在模型训练阶段添加满足DP的噪声从而达到隐私保护的目的，在之前读的论文中，不同的数据集大小，优化器，激活函数的不同都会影响整个模型的性能。看的比较多的就是在裁剪阈值C上进行优化，过大过小都不利于模型训练，所以需要找一个合适的阈值C。在联邦学习(FL)设置中，使用用户级差分隐私(例如DP联邦平均)训练神经网络的现有方法涉及到通过将每个用户的模型更新裁剪为某个常数值来限制其贡献。method：基于这样的前提，文章提出了一种分位数的思想，用分位数去找一个合适的裁剪临界值。左

2022-05-17 11:26:40 981 2

原创 Deep Learning with Label Differential Privacy

motivation：数据集分为有（data,label），文章认为label是更为重要的，所以对于label进行隐私保护。methods：通过随即响应RR将label随机化进行保护。这篇文章认为数据集中输入标签Label是敏感的，而输入数据被认为不是敏感的，所以这篇文章只需要保护Label的隐私。主要的创新点有两个，一个是提出了一个新的基于Label DP的多阶段深度学习算法，另一个是提出了一个带有先验知识Prior的经典随机响应算法。多阶段的好处：1.先验概率越来越好2.数据集越来越多。

2022-05-11 21:19:03 872

原创深入理解先验知识

先验知识：提前验证的知识。作用：有了提前知道的知识，去更好的推断下一阶段的知识。在常规图像检测中，可以把先验知识与训练模型中fine-tunning一起理解。如果我们不用先验知识，我们去train一个人物图像检测，那么时间肯定会很长，效果也不一定好，但是我们利用先验知识，把模型中的权重替换为已知训练好模型的权重参数，边缘，轮廓等等等，那么你自己的一个task就会比之前没有先验知识训练出来速度、utility要好得多。底下文章不错：给模型加入先验知识 - 知乎...

2022-05-09 09:17:13 8520 1

原创 Local Differential Privacy for Deep Learning

【论文学习3】Local Differential Privacy for Deep Learning - 20189223 - 博客园Local Differential Privacy for Deep Learning 0.ABSTRACT 物联网平台创新包括边缘云交互中的软件定义网络（SDN）和网络功能虚拟化（NFV） https://www.cnblogs.com/20189223cjt/p/12444654.htmlmotivation：众包数据进行训练过程中，容易造成隐私泄漏。met

2022-05-06 16:53:59 750 1

原创 Differentially Private Deep Learning with Iterative Gradient Descent Optimization

motivation：梯度下降中不均衡的敏感度；不够紧的隐私界限。methods：新的扰动梯度下降优化算法PIGDO，并证明该算法满足差分隐私；提出一种改进的MMA方法来进行隐私分析，与原始moment account方法相比，获得了更紧密的隐私损失约束。1.本文提出了一种新的扰动迭代梯度下降优化(PIGDO)算法，该算法将梯度下降算法作为一个迭代分量，然后对迭代GDO计算的梯度进行梯度扰动，满足差分隐私。与之前针对每个梯度设计的噪声加法机制相比，我们的算法改进从整体的角度验证了梯度的准确性，从而

2022-04-27 15:21:18 564

原创 An Adaptive and Fast Convergent Approach toDifferentially Private Deep Learning

motivation：第一DP会降低模型的性能，第二个就是梯度对训练数据具有不均匀敏感性。因为敏感性的不均衡会导致在隐私保护中对于敏感度低的梯度添加大噪声，敏感度高的梯度添加小噪声，这将会直接影响模型的好坏。所以文章提出了一种自适应的，快速收敛的一种差分隐私方法。methods：主要方法有两个，一个是通过自适应学习速率提高收敛速度来降低隐私损失，另一个是通过引入自适应噪声来减轻差分隐私对模型精度的负面影响。上面这个图是SGD算法，他的学习率是固定的所以对于模型收敛来说不够好，下面的这个是RMSP

2022-04-27 15:10:29 522 6

原创 Removing Disparate Impact of Differentially Private Stochastic Gradient Descent on Model Accuracy

motivation：不合适的梯度剪切和随机噪声叠加影响不均衡数据中的少数代表和复杂的类和子群，从而导致效用损失的不平等。methods：修改的DPSGD，称为DPSGD-F。为了实现各分组在效用损失相等的情况下实现差分隐私。它使用自适应裁剪来调整每个组的样本贡献，使每个组的隐私级别根据其隐私成本进行校准。因此，在DPSGD-F中，最终各组的效用损失是相同的。传统的DPSGD步骤：梯度下降-根据阈值C裁剪clip-加噪声-反向传播core：为了在神经网络的私有训练中减少噪声，DPSGD截断神经网

2022-04-26 10:53:49 607 1

原创 DP敏感度（全局，局部，平滑）

L2灵敏度明显低于L1灵敏度。向量值拉普拉斯机制需要使用 L1灵敏度，而向量值高斯机制允许使用L1或L2灵敏度。这是高斯机制的一个主要优势。对于L2灵敏度远低于L1灵敏度的应用，高斯机制允许添加更少的噪声。1.全局敏感度：独立于所查询的实际数据集（适用于相邻的任何选择）添加行或删除行会导致相邻数据集距离为1，修改行会导致数据集距离为2.2.局部敏感度：将其中一个数据集固定为被查询的数据集（给定的一个数据集）。当全局灵敏度较大时，必须向输出中添加大量的噪声，以实现差分隐私，这可能会严重损

2022-03-21 20:20:15 3749

转载差分隐私与机器学习

差分隐私与机器学习的综述【笔记】_谈论现实-优快云博客Differential Privacy and Machine Learning: a Survey and Review 论文笔记总差分隐私部分：机器学习部分：评判标准：基于差分隐私应用在机器学习的一般思想：分基于差分隐私的监督学习：基于差分隐私的非监督学习：基于差分隐私的降维模型：统计估计：总理论结果：讨论：总差分隐私部分：作者在先验知识部分，介绍了查询的概念，这是其他文章没有提到的。在敏感度方面，按照时间线或者说缺陷的改进来说，从全局敏感度到局

2022-03-08 16:29:47 580

原创本地化差分隐私LDP

可以看看下面博客：论文笔记：软件学报 2018 本地化差分隐私研究综述 - 知乎前言随着大数据时代信息技术的不断发展，个人信息的隐私问题越来越受到关注，如何在数据发布和分析的同时保证其中的个人敏感信息不被泄露是当前面临的重大挑战。基于此提出了中心化差分隐私和本地化差分隐私来完成…https://zhuanlan.zhihu.com/p/417209747扰动机制：随机响应技术主要包括两个步骤：扰动性统计和校正。随机响应技术仅对包含两种取值的离散型数据进行响应，而对于具有超过两种取值的数据并不适用

2022-03-08 15:31:11 1527

原创差分隐私-敏感度

1.中心化对应全局敏感度，本地化对应局部敏感度。2.全局敏感度在修改一个元祖时查询结果的最大变化。对于和、计数、最大值全局敏感度很容易计算。例如计数的全局敏感度为1，因为对于任何两个相邻的数据集，只要一个元祖被更改，而对于直方图查询的全局敏感度为2，示例图如下：3.为什么需要局部敏感度？当全局敏感度较大时，必须像输出中添加大量的噪声以实现差分隐私，这就有可能严重损害数据效用。为了解决这个问题，Nissim等人提出了局部敏感度的思想。4.敏感度是决定加入噪声大小的关键参数，它指删除数据集中任.

2022-03-08 10:07:26 3935

原创参数估计-极大似然估计-无偏性

定义：使样本事件发生概率最大的参数值，作为总体参数的估计值，就是极大似然估计。比如箱子中有100个球，共两种颜色白和黑。已知白球和黑球的比例是1:99（但不知道谁是1）。目标是估计箱子中什么颜色是99个。随机抽取一个球，发现是白球。那么从直观上讲，是不是大概率箱子中是99个白球？当然也有可能箱子中是99个黑球，正好有1个白球还正好被抽到了。但是明显这种情况概率较小。上面这个例子，就是极大似然估计的过程。选择的是概率最大的参数。无偏性的含义是：用样本估计的参数值的期望，等于真实值。...

2022-02-25 14:30:36 3161

原创参数估计-矩估计

参数估计：分布类型有很多种，决定正态分布的两个参数：均值和方差。因此，参数就是决定分布的关键性数据。知道了参数，也就知道了分布的详细内容。问题来了，总体的分布类别如果我们知道了，是不是只要知道分布的参数，就能知道总体的分布详情？是的。那如何能知道总体分布的参数数值呢？这就是参数估计。即，用样本的数据来构造函数（即统计量），来估计总体参数，这就是参数估计。矩估计：用样本的矩直接作为总体矩的估计值。（阶数要保持一致）...

2022-02-25 14:27:20 6370

转载信息量-香农熵-相对熵(KL散度)-交叉熵

1.信息量：表示信息多少的量度，用来衡量信息的不确定度（衡量混乱程度的）即一个集合里面各部分比例越均衡越混乱，各部分越两极分化越不混乱。。只与随机变量概率分布有关。2.不确定性强->信息量越大->概率低。3.机器学习中以e为底对应单位nit,以2为底对应单位bit。4. 满足可叠加性质。5.自信息的性质：6.信息的本质是对不确定性的消除。7.那么如何使用数学来衡量混乱程度呢？我们显然发现当物品的总数不变的情况下，两种物品数目的乘积越大越混乱，越小越不混乱。那.

2022-02-24 21:55:53 683

原创 CCS2016:Deep Learning with Differential Privacy

motivation：基于神经网络的机器学习技术需要大量且有代表性的训练数据，其中包含了许多敏感信息，所以为了解决这个问题，提出了一种学习算法技术和对差分隐私的隐私损失进行详细分析。key sentence：1.在本文中，我们将最先进的机器学习方法与先进的隐私保护机制相结合，在一个适度的（“个位数”）的隐私预算内训练神经网络。我们处理模型用具有非凸目标、几层、数层和数万到数百万参数的元素。2.我们证明，通过跟踪隐私损失的详细信息（更高的时刻），我们可以获得更严格的对总体隐私损失的估计

2022-02-23 16:48:11 980

转载深度学习之梯度裁剪

梯度剪裁的原因神经网络是通过梯度下降来学习的。而梯度爆炸问题一般会随着网络层数的增加而变得越来越明显。如果发生梯度爆炸，那么就是学过了，会直接跳过最优解。例如：在反向传播中，假设第一层倒数乘以权重> 1，随着向前网络的传播的层数越多，梯度可能会越来越大。（梯度消失相反）所以需要梯度裁剪，避免模型越过最优点。梯度裁剪的使用常见的梯度裁剪有两种确定一个范围，如果参数的gradient超过了，直接裁剪根据若干个参数的gradient组成的的vector的L2 Norm进行裁剪

2022-02-23 15:41:58 641

原创深度学习中的batch和epoch

什么是Batch？Batch大小是一个超参数，用于定义在更新内部模型参数之前要处理的样本数。将批处理视为循环迭代一个或多个样本并进行预测。在批处理结束时，将预测与预期输出变量进行比较，并计算误差。从该错误中，更新算法用于改进模型，例如沿误差梯度向下移动。训练数据集可以分为一个或多个Batch。当所有训练样本用于创建一个Batch时，学习算法称为批量梯度下降。当批量是一个样本的大小时，学习算法称为随机梯度下降。当批量大小超过一个样本且小于训练数据集的大小时，学习算法称为小批量梯度下降。在小批量梯度下降

2022-02-22 16:54:42 3382

原创 Differentially Private Na¨ıve Bayes Classification

隐私和安全问题往往会阻止共享用户的数据，甚至从中获得的知识，从而阻止有价值的信息被利用。隐私保护知识如果做得正确，可以缓解这个问题。

2022-02-22 10:31:10 294

原创 Differentially Private Publishing of High-dimensional DataUsing Sensitivity Control

motivation：敏感度太高，需要加大噪声去满足DPwe consider the problem of publishing column counts for high-dimensional datasets, such as querylogs or the Netflflix dataset. The key challenge is that as the sensitivity is high, highmagnitude noises need to be added to sati..

2021-12-17 15:57:25 202

原创 Practical Differential Privacy via Grouping and Smoothing

摘要：用DP解决了一次性发布的不重叠计数问题。先前工作在发布统计用较低的utility在一些实用场景中。所以提出了GS，a method that pre-processes the counts by elaboratelygroupingandsmoothingthem via averaging.一种通过对计数进行精心分组并通过平均来进行预处理的方法。这一步作为一种初步扰动的形式，降低了灵敏度，并使GS能够通过低拉普拉斯噪声注入来实现epsilon-差分隐私。分组策略通过一种采样机制来控制，它...

2021-12-15 15:16:58 726

原创 Privacy at Scale: Local Differential Privacy in Practice

文章属于综述，对于整个LDP的应用场景，方向都进行了系统概括。语言简单易懂，供我这种菜鸟学习，找到合适的方向。Amplification论文：A. V. Evfimievski, J. Gehrke, and R. Srikant. Limiting privacy breaches in privacypreserving data mining. InPODS, pages 211–222. ACM, 2003.2.2 行业发展谷歌公司的RAPPOR对于网页地址的获取（没有获取...

2021-12-07 15:55:33 389

原创 Privacy Amplification by Decentralization

3 Walking on a Ring3.1在有向环图上的真实求和边E从第一个用户u开始walk，范围是u到n-1。Token从用户1开始经过k次。背景：环是公开的。在LDP中，在发送数据给中心之前，需要给每一个single contribution添加随机扰动（标准差standard deviation）。所以在这个求和问题中，也是考虑了一个抽象机制Perturb(x;σ) 去添加噪声（高斯机制或者拉普拉斯）Letσlocbe the standarddeviation of the no...

2021-11-30 17:19:50 1562 1

空空如也

空空如也