weixin_66945478的博客

我们希望让更多“想象力”和“创造力”生长，期待与各方科学家及开发者们一同共建AI时代。

我们希望让更多“想象力”和“创造力”生长。期待与各方科学家及开发者们一同共建AI时代。

haiscale (Highflyer AI Scale) 是一个轻量级的高性能并行训练工具库，其整合了幻方 AI 多年的并行训练研发优化经验，能够帮助 PyTorch 用户更加高效、便捷地在大规模集群上训练模型。

幻方AI针对mmdetection, mmsegmentation 等广受研究者欢迎的 mm-* 系列框架下ffrecord的转化进行了优化，提供了 FFRecordClient 接口。用户能够在配置文件中选择使用 FFRecordClient 来替换默认的读取后端。那么 FFRecordClient 和之前的 ffrecord 有什么不同？它具体该如何使用？本期文章将为大家分享。

最近来自人民大学李崇轩课题组的研究者们提出了一种基于能量函数的扩散模型生成指导方法 EGSDE。该方法旨在通过预定义的能量函数对预训练好的扩散模型进行指导，从而实现可控生成。现有指导生成方法如 classifier-guidance 等可以理解为 EGSDE 的特例。理论上，研究者从专家乘积（PoE）的角度解释了 EGSDE 的采样分布。值得一提的是，该项目利用了幻方AI深度学习训练平台的算力及加速性能，在无监督的图到图翻译任务上进行了大量实验。

通过本次实践，我们验证了同态加密的可行性，其在保障数据在外部的计算资源隐私安全的同时，会极大得影响训练的性能。目前同态加密处于不断研究优化的过程中，相信未来会有更多优化且可商用的技术突破和方案。我们将持续关注该领域的发展。

上两个招式为大家介绍了 hfai workspace 和 hfai venv，其可以帮助用户快速同步本地工程目录代码和环境到远程萤火超算中。而这套组合拳下来，其实我们可以认为是“蓄力”和“提气”的过程，接下来就是“神功”最核心的部分，本次文章将为大家介绍 hfai python，其可以帮助大家方便快捷地发起、管理训练任务。

分布式训练中模型的保存，特别是大模型，常常需要耗费很多的时间，降低了整体的 GPU 利用率。针对这类问题，幻方 AI 进行了攻关，优化过往深度学习模型单机训练保存的方法，研发出分布式 checkpoint 方案，大幅度降低模型保存与加载上的开销。

幻方AI自研了一套适配萤火二号的路由算法，本期文章针对网络这个话题，分享一点幻方 AI 的思考和优化。

上一招式为大家介绍了 hfai workspace，其可以帮助用户快速同步本地工程目录代码到远程萤火超算中。但是在实际的作业中，我们还会碰到另外一个问题——运行环境的同步怎么处理？这跟上一招式讲到的“本地-萤火，数据通路”其实是一套组合拳，那么本次“心法”就为大家介绍 hfai venv，“本地-萤火，环境共享”——快速实现运行环境的集群部署。

对于深度学习开发者和研究者们来说，TensorBoard 是帮助理解深度学习运行机理，训练可视化和调试的重要工具。最近，幻方 AI 开发并集成了 JupyterLab TensorBoard 插件（JupyterLab TensorBoard Pro），帮助大家在使用幻方萤火超算集群训练模型的同时，也可以方便快捷地使用 Tensorboard 工具进行深度学习训练的调试。

本次文章为大家介绍 hfai workspace，其旨在同步本地工程目录代码到远程萤火超算中，更丝滑地利用萤火超算的算力运行您的项目工程。

通过优化CUDAkernel和模型结构，融合多运算操作，幻方AI优化的深度学习算子在实际测试中表现出惊人的加速效果，优化的算子与幻方AI基础设施结合，让模型训练高效迅速，计算资源充分利用，加速更多场景的探索与研究。...

来自清华黄高课题组的研究者们对ViT模型中的Attention机制进行改进，提出了可变形的attention机制。研究者们让所有query都跟同⼀组key和value交互，通过对每个输⼊图像学习⼀组偏移量，移动 key和value到重要的位置。这种设计不仅增强了 sparse attention 的表征能⼒，同时具有线性空间复杂度。该项工作获得幻方AI算力资助，在大量的场景下进行了实验对比，验证了所提方法的优异性能。

在之前的文章《幻方萤火 | 高速读写文件系统 3FS》中提到，幻方AI自研了一套适合深度学习模型训练场景的文件读写系统3FS，能提供高性能的批次数据读取，提高模型的训练效率。对于用户而言，使用3FS非常简单，只需要掌握我们封装设计的高性能数据格式，ffrecord，将数据存入幻方萤火超算平台中即可。那么ffrecord和一般的数据格式有什么不同？它应该要有哪些设计要求呢？本期文章将为大家分享ffrecord设计背后的故事，讲述幻方AI设计ffrecord的理念，展现ffrecord的高性能和便捷。

hfreduce是幻方AI自研的高速模型并行训练工具，是幻方AIHPC“萤火二号”计算存储分离后，计算服务中的重要一环，根据萤火二号的集群特性专为计算节点设计的All Reduce工具。本质上hfreduce相当于 PyTorch 中的 DistributedDataParallel（DDP），只不过使用 CPU 做加法运算以计算总梯度，而不是调用其他的集体通信库（CCL），比如说 NCCL，传递梯度到不同的显卡上，再各自计算总梯度。

3FS是幻方AI自研的高速读写文件系统，是幻方AIHPC“萤火二号”计算存储分离后，存储服务中的重要一环。于2022年3月召开的GTC大会上，幻方AI将受邀分享“AI Computing Power on Demand——Sharing an AIHPC Scheduled with Time Slices and Running Elastic Large-scale Distributed Deep Learning Trainings”的主题演讲，届时将详述3FS研发过程中的更多细节与故事。