
Deepspeed代码精读
文章平均质量分 93
Deepspeed代码精读
陈超帅-大模型Agent
好的开始成功了一半,不好的开始成功了1/3,尽管开始吧!
展开
-
【Deepspeed-DeepSpeedZeroOptimizer-02】ZeRO源码精读02:DeepSpeedZeroOptimizer(从init到ZeRO(1、2)训练流程解析)
【Deepspeed-DeepSpeedZeroOptimizer-02】ZeRO源码精读02:DeepSpeedZeroOptimizer(从init到ZeRO(1、2)训练流程解析)原创 2023-10-29 17:00:33 · 1659 阅读 · 0 评论 -
【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01:DeepSpeedZeroOptimizer(ZeRO-1,ZeRO-2)
【Deepspeed-DeepSpeedZeroOptimizer-01】ZeRO源码精读01:DeepSpeedZeroOptimizer(ZeRO-1,ZeRO-2)原创 2023-10-28 17:09:29 · 3867 阅读 · 11 评论 -
【Deepspeed-Adagrad】Deepspeed的Adagrad实现代码精读
【Deepspeed-Adagrad】Deepspeed的Adagrad实现代码精读原创 2023-10-26 01:21:43 · 279 阅读 · 0 评论 -
【Deepspeed-Adam】Deepspeed的Adam实现代码精读(cpu_adam、fused_adam)
Deepspeed的Adam实现的代码精读,其中包括了CPU版本的Adam,还有高度优化的GPU版本的Adam,代码精读与理解。原创 2023-10-22 13:54:49 · 1568 阅读 · 2 评论