论文阅读:Differentially Private Learning with Adaptive Clipping

论文名字

Differentially Private Learning with Adaptive Clipping

来源

 

年份

2019

作者

Galen Andrew, Om Thakkar, H. Brendan McMahan, Swaroop Ramaswamy

核心点

提出对更新的范数的自适应裁剪方法

阅读日期

2021.3.30

影响因子

 

页数

10

引用数

 

引用

 

内容总结

文章主要解决的问题及解决方案:

解决固定clip裁剪问题。

 

文章的主要工作:

1、提出一种在DP Federated Averaging中,对更新的范数的自适应裁剪方法,消除了调整裁剪超参数的需要。

2、原理推导:

 

假设有X中的m个样本,平均loss为:

 

3、将上述推论用于DPFedAvg中:体现在伪代码中就是红色部分

 

 

文章内容:

 

 

 

实验结果:

 

附录:

 

 

参考文献:

 

 

 

 

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

三金samkam

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值