PICASSO，一个高效的搜推广稀疏训练解决方案

作者：张远行，陈浪石，宋钺，袁满

来源：智能引擎事业部、阿里妈妈广告技术部、阿里云计算平台事业部

一、整体情况概述

近日，阿里巴巴自研稀疏训练引擎论文《PICASSO: Unleashing the Potential of GPU-centric Training for Wide-and-deep Recommender Systems》被国际数据工程顶级会议ICDE 2022 (International Conference on Data Engineering)收录。文中介绍了名为PICASSO（Packing, Interleaving and Caching Augmented Software System Optimization）的训练引擎所使用的核心技术。PICASSO是阿里巴巴智能引擎事业部广告训练引擎XDL团队和阿里云计算平台PAI团队深度合作研发的成果，在集团内部PICASSO作为XDL2、PAI-Tensorflow和PAI-HybridBackend三个产品服务于搜索、推荐、广告业务。



搜推广模型训练的性能会直接影响到迭代开发效率及模型时效性，如今已是一项非常热门的研究主题。作为国际最大的电商平台之一，阿里巴巴在搜推广稀疏模型训练优化上有着深厚的经验与积累，近年来我们也看到大量相似的设计或是为解决相关问题的新方案不断涌现在国际顶级学术会议及期刊上。然而，随着模型复杂度以及数据规模的快速增长，即便有多种稠密计算及稀疏处理的优化，我们仍然观测到通用硬件上的训练任务不能表现出持续高水平的资源使用率。阿里巴巴探索了进一步提升资源利用效率的方法，以期望在满足业务质量严苛要求的同时，起到抛砖引玉的作用，吸引更多研究人员提出更为高效优雅的稀疏训练解决方案。

二、PICASSO技术转化

2.1 阿里巴巴内部XDL2训练引擎

XDL是阿里巴巴自研的PS训练模式的稀疏训练引擎，通过高并发的方式提升在混部集群中搜推广任务的训练效率。自2018年开源以来，XDL团队结合工业实践对XDL框架进行了大范围的革新，包括但不限于I/O、通信、访存、编译优化、软硬件计算加速等。XDL2是综合XDL多年的业务经验与PICASSO中所介绍技术的成果，支持在高性能集群中充分利用硬件优势提升训练效率，为阿里巴巴内部的多条搜推广业务线训练任务保驾护航。

2.2 阿里云HybridBackend高性能稀疏训练引擎

HybridBackend是阿里云推出的提升稀疏模型在异构硬件集群训练效率的训练框架，截至目前已经服务于阿里云数十家搜推广业务用户，平均带来了2-3倍的训练性能提升。HybridBackend将PICASSO中所介绍的技术作为Tensorflow的扩展，能够享受到Tensorflow社区的最新加速技术并在异构集群中最大化提升训练效率，且与基于Tensorflow实现的前沿学术或工业优化策略完全正交。HybridBackend目前已经开源在 GitHub - alibaba/HybridBackend: A high-performance framework for training wide-and-deep recommender systems on heterogeneous cluster。

三、工业级稀疏训练

<