Communication-Efficient Learning of Deep Networks from Decentralized Data

最新推荐文章于 2024-12-03 18:10:14 发布

ML_NI_CSU

最新推荐文章于 2024-12-03 18:10:14 发布

阅读量1.5k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： Material Informatics # Louris 文章标签： Distributed Learning Deep Learning

本文链接：https://blog.youkuaiyun.com/lj695242104/article/details/103223005

该博客探讨了一种在分布式环境中，从不同数据源高效学习深度网络的方法。通过减少通信开销，这种技术允许在多个节点上并行训练模型，同时保持模型的准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
   类型 
   说明 
  
   论文信息 
   Communication-Efficient Learning of Deep Networks from Decentralized Data
H.Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, Blaise Agüera y Arcas 
  
   研究的问题 
   移动设备的去中心化数据的高效率通信的分布式联合平均算法 
  
   算法名称 
   FederatedAveraging Algorithm(FedAVG) 
  
   前景知识 
   – 
  
   有限和形式 
   min⁡_ω∈Rdf(ω)　　where　　f(ω)=def1n∑i=1nf_i(ω).\min\_{\omega\in\mathbb{R}^{d}} f\left(\omega\right)　　where　　f\left(\omega\right) \stackrel{\text{def}}{=}\frac{1}{n}\sum^{n}_{i=1}f\_{i}\left(\omega\right).min_ω∈Rdf(ω)　　where　　f(ω)=defn1​i=1∑n​f_i(ω).For a machine learning problem:fi(ω)=ℓ(xi,yi;ω)f_{i}\left(\omega\right)=\ell\left(x_{i},y_{i};\omega\right)fi​(ω)=ℓ(xi​,yi​;ω) 
  
   分布式形式 
   f(ω)=∑k=1KnknFk(ω)　　where　　Fk(ω)=1nk∑i∈Pkfi(ω).f\left(\omega\right)=\sum^{K}_{k=1}\frac{n_{k}}{n}F_{k}\left(\omega\right)　　where　　F_{k}\left(\omega\right)=\frac{1}{n_{k}}\sum_{i\in\mathcal{P}_{k}}f_{i}\left(\omega\right).f(ω)=k=1∑K​

类型	说明
论文信息	Communication-Efficient Learning of Deep Networks from Decentralized Data H.Brendan McMahan, Eider Moore, Daniel Ramage, Seth Hampson, Blaise Agüera y Arcas
研究的问题	移动设备的去中心化数据的高效率通信的分布式联合平均算法
算法名称	FederatedAveraging Algorithm(FedAVG)
前景知识	–
有限和形式	$min⁡_ω∈Rdf(ω) where f(ω)=def1n∑i=1nf_i(ω).\min\_{\omega\in\mathbb{R}^{d}} f\left(\omega\right) where f\left(\omega\right) \stackrel{\text{def}}{=}\frac{1}{n}\sum^{n}_{i=1}f\_{i}\left(\omega\right).$ For a machine learning problem: $fi(ω)=ℓ(xi,yi;ω)f_{i}\left(\omega\right)=\ell\left(x_{i},y_{i};\omega\right)$
分布式形式	$Fk(ω)=1nk∑i∈Pkfi(ω).f\left(\omega\right)=\sum^{K}_{k=1}\frac{n_{k}}{n}F_{k}\left(\omega\right) where F_{k}\left(\omega\right)=\frac{1}{n_{k}}\sum_{i\in\mathcal{P}_{k}}f_{i}\left(\omega\right).$