
分布式机器学习
zhongrui_fzr
公众号:step in 机器学习
github主页:https://zrfan.github.io/
展开
-
sona:Spark on Angel大规模分布式机器学习平台介绍
Angel是一个基于参数服务器(Parameter Server)开发的高性能分布式机器学习平台,它基于腾讯内部的海量数据进行了反复的调优。 Angel的核心设计理念围绕模型,将高维度的大模型切分到多个参数服务器节点,并通过高效的模型更新接口和运算函数,以及灵活的同步协议,轻松实现各种高效的机器学习算法。 Angel基于Java和scala开发,能在Yarn上直接调度运行,并基于PS Serv...原创 2019-12-11 16:03:46 · 1627 阅读 · 0 评论 -
sona: Spark on Angel部署教程
Spark on Angel同时支持yarn和local两种运行模型,从而方便用户在本地调试程序。 spark on Angel本质上是一个spark的application,但是多了一个附属的application。在任务提交成功后,集群上会出现两个独立的application,一个是spark application,一个是angel-PS application,两个application不...原创 2019-12-11 15:28:14 · 1779 阅读 · 4 评论 -
sona:Spark on Angel任务启动流程分析
本文主要分析腾讯的分布式机器学习平台angel3.0版本在spark上的启动流程,本文会讲解的非常详细甚至啰嗦,所以建议新手同学认真阅读,不足之处还请大佬指教 ~~ 本文也有一些暂时还未理解十分透彻的地方,欢迎指正~~ 以sona自带的JsonRunnerExamples为例分析sona的启动流程 下面这几行代码是用于启动spark并启动angel的 val spark = SparkSessio...原创 2019-12-02 18:57:32 · 1114 阅读 · 0 评论