微软开源 Deep Speed Chat

最新推荐文章于 2025-06-30 22:33:40 发布

转载最新推荐文章于 2025-06-30 22:33:40 发布 · 370 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=MzkxNjI3ODAwNw==&mid=2247563826&idx=3&sn=1194d425ddf97acc09ae91b8e18787cb&chksm=c151e5aaf6266cbc257b0eb8ba6a728ad8ce48f9a0a76bd84ffcc55f5bb04ba35c299e799b4a&scene=126&sessionid=0

微软推出了开源项目DeepSpeedChat，该工具基于DeepSpeed库，能高效训练和推理大语言模型，如ChatGPT，使用RLHF技术提升训练效率15倍以上并降低成本。此外，文章还提及Meta在VR领域的高薪招聘以及商汤发布的“商量”语言模型，以及上海一位00后用AI技术引发的争议。

4月12日，微软宣布开源了 Deep Speed Chat，帮助用户轻松训练类 ChatGPT 等大语言模型。

Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。

☞大裁员之后，Meta 为 VR 程序员开出百万美元年薪！
☞商汤加入 ChatGPT 战局，发布“商量”语言大模型！
☞上海 00 后小伙 AI “复活”奶奶，却引发巨大争议

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

优快云程序人生

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

[算法前沿]--011-DeepSpeed-Chat 模型训练实战（上部）

全网120W+关注AI拉呱，专注人工智能以及科技前沿！

05-19

1335

其中，阶段（a）的 GPT-3.5 或 GPT-4 预训练部分是计算量最大的阶段。这不仅需要大量的 GPU（几十到数百个），而且训练时间非常长（数月），因此通常只有大型企业才能进行训练。在本实例中，我们使用了 Facebook 公开的 opt 系列预训练模型，并主要针对 b、c、d 三个步骤进行训练。d) 基于人类反馈的强化学习（RLHF：Reinforcement learning with human feedback）（对应 DS-Chat 中的 Step3）。

[论文笔记] chatgpt系列 2.1 DeepSpeed-chat 简介

心宝的博客

04-28

2989

本着使chatgpt风格的模型及其功能民主化的精神，DeepSpeed很自豪地推出了一个通用的系统框架，为类似chatgpt的模型提供端到端的培训体验，名为DeepSpeed Chat。它可以自动采用您最喜欢的预训练大型语言模型，通过OpenAI InstructGPT风格的三个阶段来生成您自己的高质量chatgpt风格模型。DeepSpeed Chat使高质量chatgpt风格模型的培训变得简单，快速，经济实惠和可扩展。只需点击一下，您就可以在1.36小时。

参与评论您还未登录，请先登录后发表或查看评论

重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！

weixin_36896856的博客

04-13

802

点击上方“AI遇见机器学习”，选择“星标”公众号第一时间获取价值内容【导读】微软开源的DeepSpeed Chat，让开发者实现了人手一个ChatGPT的梦想！人手一个ChatGPT的梦想，就要实现了？刚刚，微软开源了一个可以在模型训练中加入完整RLHF流程的系统框架——DeepSpeed Chat。也就是说，各种规模的高质量类ChatGPT模型，现在都唾手可得了！项目地址：https://git...

DeepSpeed-Chat训练整理

qq_41395554的博客

04-14

1224

DeepSpeed-Chat全流程训练整理

【AIGC】重磅！微软开源Deep Speed Chat，人人拥有ChatGPT的时代正在到来！

热门推荐

AI天才研究院

04-13

2万+

ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过Deep Speed Chat可以突破这些训练瓶颈，达到最佳效果。

deep speed chat教程

05-12

DeepSpeed Chat是一个基于DeepSpeed的开源库，用于训练大规模深度学习模型，其中包括对话生成模型。DeepSpeed Chat提供了一组预训练模型和训练脚本，以及一个用于构建和训练对话生成模型的API。以下是一些学习...

精选资源

微软开源“傻瓜式”类ChatGPT模型训练工具，速度提升15倍

04-13

Deep Speed Chat 是基于微软 Deep Speed 深度学习优化库开发而成，具备训练、强化推理等功能，还使用了 RLHF（基于人类反馈的强化学习）技术，可将训练速度提升 15 倍以上，而成本却大大降低。当地时间 4 月 12 日...

deep speed

08-25

微软开源Deep Speed Chat，人人拥有ChatGPT！](https://blog.youkuaiyun.com/weixin_36896856/article/details/130143965)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...

deep speed 使用

08-12

- *3* [微软开源 Deep Speed Chat](https://blog.youkuaiyun.com/csdnsevenn/article/details/130143349)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_...

AI：DeepSpeed Chat(一款帮用户训练自己模型的工具且简单/低成本/快 RLHF 训练类ChatGPT高质量大模型)的简介、安装、使用方法之详细攻略

头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀

04-15

1万+

AI：DeepSpeed Chat(一款帮用户训练自己模型的工具且简单/低成本/快 RLHF 训练类ChatGPT高质量大模型)的简介、安装、使用方法之详细攻略目录 DeepSpeed Chat的简介 DeepSpeed Chat的安装和使用方法 DeepSpeed Chat的使用方法 DeepSpeed Chat的简介 DeepSpeed-Chat的产生背景 ChatGPT 之类的模型席卷了 AI 世界，可以毫不夸张地说它对数字世界的影响是革命性的。这些模

Deep Speed Chat开源：人人都能拥有ChatGPT的时代即将到来！

lujiaxuan0520的博客

05-05

350

此次微软开源Deep Speed Chat，正是为了满足这些渴求参与的人们的需求，让更多的普通用户也能够体验到类ChatGPT模型带来的便利和高效。与此前那些需要昂贵的多卡至多节点的GPU集群以及庞大的资源和资金投入的项目相比，Deep Speed Chat解决了资源和算法难题，轻松高效地训练数千亿参数的最先进的类ChatGPT模型。微软通过开源Deep Speed Chat，使得更多人能够参与到AI技术的开发和应用中，极大地推动了AI技术在全球范围内的影响力和应用价值。

Deepspeed Chat项目理解

qq_36068446的博客

06-09

1370

ChatGPT的广泛使用促进大模型火起来了，深度学习人工智能开启了2.0时代，deepspeed chat是微软开源的大模型训练工具，它充分利用了deepspeed的高效训练的特点，能够自动化的进行多种大模型训练。言归正传，在博客中我将对我的实验的流程和运行方式做个记录，便于自己后续的查看，也给其他初学者一点参考。项目：Deepspeed chat链接，资源库：hugging face 前述项目就是Deepspeed chat的官方项目，可以在按照其readme所述的流程进行操作，整体的操作流程搬运到下

InstructGPT高效实践——【DeepSpeed-Chat】源码详解(1/3)：基本概念、数据集管理

Remixa的博客

05-17

4749

早些时候微软发布了遵从InstructGPT训练逻辑的训练框架DeepSpeed-Chat，旨在通过良好的DeepSpeed生态降低类ChatGPT模型昂贵的训练成本，为了能更直接地理解有关技术原理，我对其中实现训练相关的代码进行了详细剖析，考虑到目前还没有太多相关文章对此进行过深入介绍，因此我将在本博客中探讨这个框架的实现细节，以帮助有需要的人能更好地理解和使用它。另外，我也非常欢迎大家在评论区分享出自己对这个框架的看法以及使用经验，或是提出对本文的建议。框架源码地址。

InstructGPT高效实践——【DeepSpeed-Chat】源码详解(2/3)：Supervised Finetuning、Reward Model Finetuning

u013250861的博客

12-31

882

本篇为上中下三篇章的【中篇】，接续自【上篇主要针对三阶段训练中第一阶段、第二阶段较为重要的部分源码进行详解。尽管官方的上手文档均是以sh文件为例进行演示，且源码中确实也提供了便捷的sh文件供直接使用，但我仍建议通过各阶段的main.py文件（）来运行训练，大致原因有二：其一是因为官方预设的sh文件调用了，其中对模型选型等参数进行了严格的限制，虽然提高了代码安全性，但对于以学习为目的的探索来说失去了一定的灵活性（见下方代码块），直接通过main.py进行传参即可实现绕过限制、使用更轻量的模型进行训练。

DeepSpeed-Chat 微调实战