Mafia的博客

考虑实值函数f:Rd→Rf:Rd→R，如果对任意自变量w，v∈Rdv \in R^dv∈Rdf(w)−f(v)⩾▽f(v)T(w−v)f(w)−f(v)⩾▽f(v)T(w−v)则称函数f是凸的。凸性会给优化带来很大的方便：凸函数的任何一个局部极小值都是全局最优解。考虑实值函数f:Rd→Rf:Rd→R和RdR^dRd。

各个工作节点负责处理本地的训练数据，通过参数服务器的客户端API与参数服务通信，从而从参数服务器获取最新的模型参数，或将本地训练产生的模型更新发送到参数服务器上。每个工作节点完成一定量本地训练后，将自己阶段性训练结果推送到参数服务器上，随机立刻进行本地的模型训练（在需要时，会从服务器上拿回最新的全局模型，作为本地寻来呢起点）。：定期进行了局部和全局的乱序操作，不一定完全满足独立同分布的条件，数据打乱等价或者接近于无放回的随机采样，而独立同分布的假设则暗示着有放回的随机采样。

机器学习的分类：主要从四个角度

这些模块都有着各自的设计准则和设计选项，而它们之间的组合更是五花八门。对于分布式机器学习与其他分布式系统不同，我们需要考虑它对数据的鲁棒性，对算法精度的特别要求，以及机器学习的泛化过程。分布式机器学习涉及如何分配训练任务，调配计算资源，协调各个功能模块，以达到训练速度与精度的平衡。分布式机器学习，可以更高效地利用大数据训练更准确的大模型。