大规模并行AI训练系统 Colossal-AI 十四问

近日，受优快云副总裁SoftwareTeacher老师的邀请，我们针对大家对于Colossal-AI所关心的问题进行了解答。

大规模并行AI训练系统Colossal-AI通过高效多维并行、大规模优化库、自适应任务调度、消除冗余内存等方式，旨在打造一个高效的分布式AI系统，作为深度学习框架的内核，帮助用户便捷实现最大化提升AI部署效率，同时最小化部署成本。

开源地址：

https://github.com/hpcaitech/ColossalAI

1. 你们的目标用户是谁？ 你们要解决的最大痛点是什么？

总的来说，所有与计算和AI相关的行业和企业都是我们的潜在客户，因此企业级人工智能是一个价值万亿美元的巨大市场。例如，

        a. AI芯片厂商，如英伟达、壁仞、寒武纪、 SiFive、Graphcore等。 AI 芯片厂商是算力的直接提供者。芯片的硬件架构各不相同，为了适应现有的AI 框架，必 须在硬件和底层软件的架构上设计与现有的AI框架适配的软件，例如英伟达GPU 的CUDA、AMD 的OpenCL 等。潞晨可帮助构建芯片厂商底层软件开发和并行方案优化；还可帮助构建硬件与顶层各类机器学习框架之间的生态系统。

        b. 计算厂商，如谷歌、微软、华为等。 计算厂商是算法和模型的开发者，也是算力的需求者。计算厂商需要节省训练模型的成本、 提高训练的效率，因此需要高效并行训练方案。其中大型计算厂商可使用潞晨方案，快速低成本训练超大AI模型，作为业务后台核心和影响力宣传；中小型计算厂商则可通过采用潞晨方案，节省聘请专业AI分布式相关专业人员的人工和时间成本。

        c. 云厂商，如阿里云、腾讯云、微软Azure、AWS 等。 云厂商是算力的间接提供者。为了吸引更多的使用者，云厂商希望提高服务的质量和种类， 其中就包含AI 模型训练。而高效的大规模分布式训练服务作为未来AI 计算的刚需，必然是云厂商需要提供的服务之一，与潞晨合作能够以较低的成本提供优质的并行训练服务。潞晨可以帮助云厂商或计算中心将高效地“硬件设备”转换成“有效算力”。

        除此之外，我们的潜在客户还包括其他有计算需求的行业和企业

        医疗：传统医疗企业（智慧医院）、面向医疗行业的计算解决方案提供商（深睿医疗、商汤科技、旷视科技等）

        安保：海康威视、大华股份、依图科技等

        工业：中石油、中石化、三一重工等

        互联网：搜索引擎、社交媒体、电商等

        计算中心：“东数西算”算力枢纽、超级计算机等 其他：自动驾驶、隐私计算、区块链、AI制药等

我们要解决的最大痛点是解放AI生产力，即降低AI模型分布式部署门槛，提升部署效率，最小化部署成本。 具体来说，有以下几个方面：