霸榜GitHub热门第一多日后,Colossal-AI正式版发布

潞晨科技与超级计算中心达成战略合作,Colossal-AI系统再添新翼助力AI大模型 近日,潞晨科技与某海外超级计算中心达成战略合作伙伴关系。本次合作旨在将海外超算中心的超级计算机和优质算力与潞晨科技基于Colossal-AI的大模型训练推理加速系统相结合,联手打造AI大模型最佳解决方案。同时,该合作还有助于建设潞晨科技新上线的智能化云平台,为云平台用户带来更充沛的算力保障。 阅读详情

大规模并行AI训练系统Colossal-AI,旨在作为深度学习框架的内核,帮助用户便捷实现最大化提升AI部署效率,同时最小化部署成本。

a37acf48c92acede81ea4ea825994485.png

开源地址:https://github.com/hpcaitech/ColossalAI

Colossal-AI一经开源便受到广泛关注,连续多日登顶GitHub热榜Python方向世界第一,与众多已有数万star的明星开源项目一起受到海内外关注!

经过开发者们的不断努力,Colossal-AI在数月的密集测试后迎来正式版!此版本由300多次commits组成。

cb18cf517cca30d497cdfc2c452e3fc9.png

本次正式版更新重点优化了分布式训练性能及开发者的易用性,主要亮点包括:

  • 重构ZeRO以改善性能和易用性;

  • 添加细粒度Profiler TensorBoard监控插件,监测训练过程中内存、网络等状态;

  • 更灵活的checkpoint策略,可扩展的pipeline模块;

  • 开源蛋白质预测FastFold等丰富行业解决方案;

  • 添加中文教程,MOE、BERT等实例,开放用户社群及论坛。

专业助力大模型训练

近年来,随着深度学习的兴起及大模型横扫各大性能榜单,前沿AI模型的大小在短短几年内便已增大万倍,远超硬件数倍的缓慢增长。前沿AI大模型不仅远超单个GPU的容纳能力,所需算力也往往需要单个GPU运行数百甚至上千年。

因此,如何提升单个GPU的容纳能力,如何高效利用分布式技术,联合多个GPU低成本实现并行训练加速已成为AI大模型的关键痛点。

12bba08f573a125054e44e1a849c1dd8.png

针对现有方案并行维度有限、效率不高、通用性差、部署困难、缺乏维护等痛点,Colossal-AI通过高效多维并行、显存优化、大规模优化库、细粒度监测等方式,让用户仅需极少量修改,即可高效快速部署AI大模型训练。

多维并行

相比现有方案中并行维度仅包括数据并行、一维张量并行、流水并行三种方案,Colossal-AI进一步提供2/2.5/3维张量并行和序列并行,以及便捷的多维混合并行解决方案。 

503bfaf92cbf3a056411ee176dbe517e.png

△ViT张量并行为64时,可提升14倍批大小和5倍训练速度

其中,高维张量并行能极大减轻显存消耗,提升通信效率,使得计算资源利用更加高效。

cc63f1394f2841c4d2cf33bc76cf01ce.png

△序列并行帮助BERT提升2倍训练速度,或1.5倍序列长度

而序列并行针对大图片、视频、长文本、长时间医疗监测等数据,可以帮助突破原有机器能力限制,直接处理长序列数据。

显存优化

Colossal-AI综合了多重显存优化技术,包含多维并行,ZeRO冗余内存消除,CPU offload,Gradient Checkpoint,自动混合精度(AMP)等前沿技术,最大限度帮助用户避免显存瓶颈,降低训练的硬件需求。

dbe7ffde847ae3045326f9dc5ab94a65.png

△GPT-2使用Colossal-AI,同样硬件下提升24倍可训练模型大小,或3倍训练速度

灵活易用

Colossal-AI接口设计与PyTorch风格保持一致,降低学习和使用成本,仅需极少量修改,便可将已有项目与Colossal-AI结合,便捷扩展至大规模并行。此外,该系统还保持了优秀的扩展性,便于根据需求添加新功能,与已有功能模块兼容。

细粒度监测:细粒度Profiler TensorBoard插件,相较于PyTorch仅能以iteration为单位进行记录训练过程,Colossal-AI能够监测iteration内的网络、通信、内存等状态,方便开发者进行精确分析和调试,提高开发效率。

大规模优化库:Colossal-AI提供大规模并行优化器LAMB、LARS等,首次将训练batch size扩展到65536。Colossal-AI还与PyTorch自带各类optimizer兼容,并不断探索添加最新前沿优化技术,满足各类模型需求。

丰富的行业解决方案

Colossal-AI目前已与自动驾驶、云计算、零售、医药、芯片等行业知名厂商达成合作,与AI领域顶级开源组织Hugging Face等建立合作。

蛋白质结构预测加速方案:FastFold

AlphaFold因强大的AI预测蛋白质结构能力被Science和Nature评选为2021年十大科学突破之首,但存在训练时间长、成本高等问题。

f3185becad44890fc560bbbf42284cb1.png

△图片来源:https://arxiv.org/pdf/2203.00854.pdf

基于Colossal-AI的加速方案FastFold,将GPU优化和大模型训练技术引入AlphaFold的训练和推理,成功超越谷歌和哥伦比亚大学的方案,将AlphaFold训练时间从11天减少到67小时,且总成本更低,在长序列推理中也实现9.3~11.6倍的速度提升。

eb1bdfadbec5f16fa84d082538028d49.png

△长序列推理性能对比

半数GPU训练GPT-3

d14d96e67d4218b77b827b870d113923.png

对于超大AI模型,如GPT-3,相比英伟达方案,Colossal-AI仅需一半的计算资源,即可启动训练;若使用相同计算资源,则能提速11%,可降低GPT-3训练成本超百万美元。

Colossal-AI注重开源社区建设,提供中文教程,开放用户社群及论坛,对于用户反馈进行高效交流与迭代更新,不断添加MoE等前沿应用。

项目团队

潞晨技术团队的核心成员均来自美国加州大学伯克利分校,斯坦福大学,清华大学,北京大学,新加坡国立大学,新加坡南洋理工大学等国内外知名高校;拥有Google Brain、IBM、Intel、 Microsoft、NVIDIA等知名厂商工作经历。公司成立即获得创新工场、真格基金等多家顶尖VC机构种子轮投资。

29d46d985ed1e7c89e73caf18205e753.png

△潞晨科技创始人尤洋教授:加州大学伯克利分校博士、IPDPS/ICPP最佳论文、ACM/IEEE George Michael HPC Fellowship、福布斯30岁以下精英(亚洲 2021)、IEEE-CS超算杰出新人奖、UC伯克利EECS Lotfi A. Zadeh优秀毕业生奖

50d738a5c217a7364e245601c0aadeb1.png

△潞晨CSO Prof. James Demmel:加州大学伯克利分校杰出教授、ACM/IEEE Fellow,美国科学院、工程院、艺术与科学院三院院士

传送门

论文地址:
https://arxiv.org/abs/2110.14883

项目地址:
https://github.com/hpcaitech/ColossalAI

文档地址:
https://www.colossalai.org/

*本文观点参考链接:

https://medium.com/@hpcaitech/5-must-follow-features-that-are-seeing-colossal-ais-success-2d5361e27e4b

觉得还不错就给我一个小小的鼓励吧!
Github 2024-03-12 Python开源项目日报 Top9 根据Github Trendings的统计,今日(2024-03-12统计)共有9个项目上榜。 阅读详情

相关推荐

Github 2024-03-22 开源项目日报Top10

根据Github Trendings的统计,今日(2024-03-22统计)共有10个项目上榜。

老孙正经胡说 1413

AI框架:9大主流分布式深度学习框架简介

转载翻译Medium上一篇关于分布式深度学习框架的文章。

GIS摆渡人 3555

模型训练框架:Colossal-AI【分布式人工智能框架】

Colossal-AI 是一个集成的系统,为用户提供一套综合的训练方法。此外,我们提供了一系列的并行技术,包括数据并行、张量并行和流水线并行。我们还提供了不同的流水线并行方法,使用户能够有效地跨节点扩展他们的模型。更多的高级功能,如卸载,也可以在这个教程文档中找到详细的内容。随着深度学习模型规模的发展,向新的训练模式转变是非常重要的。没有并行和优化的传统训练方法将成为过去,新的训练方法是使训练大规模模型高效和节省成本的关键。我们的目标是使 Colossal-AI 易于使用,并且对用户的代码不产生干扰。

u013250861的博客 1667

Colossal-AI简介

​图片来源:分布式系统由多个软件组件组成,在多台机器上运行。例如,传统的数据库运行在一台机器上。随着数据量的爆发式增长,单台机器已经不能为企业提供理想的性能。特别是在双十一这样的网络狂欢节,网络流量会出乎意料的大。为了应对这种压力,现代高性能数据库被设计成在多台机器上运行,它们共同为用户提供高吞吐量和低延迟。分布式系统的一个重要评价指标是可扩展性。例如,当我们在4台机器上运行一个应用程序时,我们自然希望该应用程序的运行速度能提高4倍。然而,由于通信开销和硬件性能的差异,很难实现线性提速。

AI生成式技术曾小健 5548

ROS2 Jazzy 学习路线图(2026最新)

摘要: ROS2 Jazzy(LTS版)是2026年长期支持版本,仅适配Ubuntu 24.04。本文提供WSL环境下的学习路线图: 环境搭建(1-2天):配置WSL2+Ubuntu 24.04,安装ROS2 Jazzy及图形工具(VcXsrv、VS Code)。 核心概念(3-5天):掌握节点、话题、服务等通信机制,使用turtlesim和小海龟仿真实践。 开发实战(7-10天):Python/C++节点开发,结合RViz2、Gazebo等工具完成多节点通信和避障项目。 进阶应用(10-15天):导航(N

zheng_ruiguo的专栏 642

从3D相机数据到三维模型:Halcon实战深度图、亮度图与点云转换全流程

本文详细解析了如何利用Halcon将3D相机采集的深度图、亮度图转换为三维点云模型的完整流程。通过实战案例分享,涵盖数据格式处理、点云生成方法(SDK接口与纯Halcon实现)、三维模型可视化优化等关键技术,帮助工程师解决工业检测中的实际难题,提升三维重建精度与效率。

weixin_42525005的博客 397

霸榜 GitHub 热门第一多日后,Colossal-AI 正式版发布

Colossal-AI,旨在作为深度学习框架的内核,帮助用户便捷实现最大化提升AI部署效率,同时最小化部署成本。

优快云资讯 1万+

DaVinci Developer中枚举类型变量的创建与实战应用

本文详细介绍了在DaVinci Developer中创建和使用枚举类型变量的方法与实战应用。通过智能温控系统的案例,阐述了枚举类型在嵌入式开发中的核心价值,包括提升代码可读性、类型安全性和维护便捷性。文章还提供了枚举类型在状态机实现和多模块协同中的高级应用技巧,以及调试与优化的实用建议。

ik678901234的博客 513

【AI大模型项目实战】开源推荐,7k GitHub Star,这个开源项目爱了!

针对 AI 大模型落地成本高昂这一痛点,GitHub 开源项目 Colossal-AI 近期发布重大更新,着重降低各个大模型的应用成本和增强易用性,包括:Stable Diffusion 2.0 低成本训练 / 微调 / 推理,最多可降低显存消耗 5.6 倍,使硬件成本直降 46 倍,一行代码即可使用;1750 亿参数 BLOOM 模型单机推理,显存消耗降低 4 倍,使硬件成本降低 10 余倍;一行代码实现自动搜索最佳并行策略,显著降低分布式训练上手门槛,原生支持 Hugging Face,Timm 等热门

2401_85327249的博客 1492

跨境TRS投资实战:从开户到交易的完整系统解析

本文系统解析了跨境TRS(总收益互换)投资的完整实战流程。详细阐述了TRS作为境外资金投资A股的灵活工具,如何通过其独特的合约结构绕开港股通限制,并提供杠杆效应。内容涵盖从选择机构、开通账户、资金管理到核心交易操作的全过程,并强调了构建包含策略、风控与心态的完整投资系统的重要性。

weixin_29233333的博客 315

电信天翼云OS(ctyunos)内网离线安装Docker-CE保姆级避坑指南(附完整依赖包清单)

本文提供电信天翼云OS(ctyunos)内网环境下Docker-CE的离线安装全攻略,涵盖依赖分析、离线包制备、冲突解决等关键步骤。针对金融、政务等隔离网络场景,详细解析如何通过本地仓库构建和优化配置,实现高效安全的容器化部署,助力企业快速搭建内网Docker环境。

401

开源星「001号」落地 Colossal-AI,欢迎登陆赢神秘大礼包!

开源星「001号」落地 Colossal-AI,欢迎登陆赢神秘大礼包!

luchentech的博客 563

【Claude Code】Unable to connect to API 报错原因与排查解决全流程

深入分析 Claude Code 中 Unable to connect to API 系列报错的根因,涵盖 ECONNREFUSED、ECONNRESET、ETIMEDOUT 等 6 种变体,提供从网络连通性检测、代理配置到 LLM 网关路由的完整排查路径,帮助开发者快速恢复 Claude Code 的正常使用。

多媒体编程、网络编程、系统编程、网络安全编程、驱动编程 2855

【GitHub项目推荐--Colossal-AI:让大模型更便宜、更快、更易得】⭐

​Colossal-AI​ 是一个开源的深度学习系统,旨在让大型AI模型变得更便宜、训练更快、更易于获取。它提供了一套完整的并行训练和推理解决方案,支持从单GPU到大规模集群的各种部署场景,特别专注于大模型的高效训练和推理优化。​项目背景​:​大模型挑战​:大型AI模型训练成本高昂​计算需求​:巨大计算资源需求​可及性​:降低大模型使用门槛​效率优化​:训练推理效率优化需求​开源生态​:开源AI生态建设​项目特色​:🚀 ​高效并行​:高效并行训练策略💰 ​成本优化​:显著降低训练成本⚡ ​性能卓越​:卓

j8267643的博客 604

Codex入门10-Goal自主任务(进阶必学:设定目标就不管了,AI自己干活到完成)

/goal 是Codex CLI最强大的进阶功能——设定一个目标,AI就会制定计划、分步执行、自我测试、持续迭代,即使你关掉终端也会继续。本文详解/goal的工作原理、配置启用方法、常用命令(pause/resume/status/clear),以及如何写出高质量的目标描述让AI高效自主完成任务。

yueyeguzhuo的专栏 456

hadoop 切片机制详解

hadoop切片机制详解

congge 1万+

如果这都不是爱!谷歌承包广告牌喊话苹果;亚马逊裁员的业内分析;李玟VR演唱会明日上线;AMD发布会全程高能;GitHub今日热榜 | ShowMeAI资讯日报

Google买下广告牌喊话苹果;Bird Buddy智能鸟喂食器;U-Scan智能尿液分析;三星智能家居中心;亚马逊大裁员分析;Stability AI CTO演讲;李玟VR演唱会明日上线…十分钟纵览今日资讯

ShowMeAI研究中心 8342

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

人工智能讲师培训 AI 人工智能 650亿参数,训练飙升38%!LLaMA基础大模型复刻最佳实践开源,GitHub已获30k星

百模大战」正风起云涌,AIGC相关企业融资和并购金额也屡创新高,全球科技企业争相入局。然而,AI大模型风光无限的背后是成本极其高昂,单次预训练成本或高达上千万元。基于LLaMA等现有开源大模型的微调,也难以满足企业打造核心竞争力和多样化商业使用等需求。因此,如何低成本量身打造预训练基础大模型,已成为AI大模型浪潮的关键瓶颈。

人工智能讲师分享前沿技术 163

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

GitHub Star 超3万!这个AI大模型工具很火

“百模大战”正风起云涌,AIGC相关企业融资和并购金额也屡创新高,全球科技企业争相入局。然而,AI大模型风光无限的背后是成本极其高昂,单次预训练成本或高达上千万元。基于LLaMA等现有开源大模型的微调,也难以满足企业打造核心竞争力和多样化商业使用等需求。因此,如何低成本量身打造预训练基础大模型,已成为AI大模型浪潮的关键瓶颈。Colossal-AI作为全球最大、最活跃的大模型开发工具与社区,以当前...

lsxxx2011的专栏 626

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

GitHub 又一黑科技项目诞生,成功复现 ChatGPT 完整流程!

来源:脑机转口社区 本文约3800字,建议阅读7分钟GitHub 知名开源项目 Colossal-AI 快速跟进,成功做出了首个开源低成本复现 ChatGPT 完整流程!近日,火爆全网的 ChatGPT,仿佛开启了第四次工业革命,将微软、谷歌等全球科技巨头打得昏天黑地,引得各路玩家纷纷入局,抢占赛道。然而由于 OpenAI 没有开源 ChatGPT,如何有效复现 ChatGPT 已成为摆在大家面前...

数据派THU 2726
上一篇: 985毕业,工作3年,从阿里辞职去国企了。
下一篇: 读博期间应该明确的50件事!
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值