计算图替代——一种DNN框架计算图优化方法

本文介绍了计算图优化在深度学习中的重要性，特别是计算图替代（Computation Graph Substitution）方法，以提高DNN推理和训练速度。详细探讨了Relaxed Graph Substitutions和Automatic Generation of Graph Substitutions，包括MetaFlow和TASO系统，通过实验展示了这两个方法在优化性能上的优势。未来的研究方向将探索图形级和算子级优化的联合优化策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 计算图优化背景

深度学习在各种实际应用中取得了巨大成功，使许多应用发生了革命性的变化，包括视频分析、自然语言处理等。随着可用的数据增多，硬件的计算能力增强，为了在复杂问题中取得好的表现，目前DNN框架变得越来越复杂，神经网络层数越来越多，神经网络参数越来越大。ILSVRC2015分类挑战赢家ResNet网络层数涉及多达152层，大的BERT模型具有3.4亿个网络参数。

随着深度神经网络层数变得越来越多，模型变得越来越深，DNN的推理与训练时间显著提升。在DNN中每一回合的推理或训练中的每一次迭代通常可以表示为计算图（Computational graphs：a common way to represent programs in deep learning frameworks），通过计算图优化可以提高DNN训练和推理的速度。

2. 计算图优化方法

计算图优化方法有很多，有很多种图优化手段：

Operator Fusion
Constant Parameter Path Pre-Computation
Static Memory Reuse Analysis
Data Layout Transformation
Alter Op Layout
Simplify Inference
Computation Graph Substitution

目前主流的框架Tensorflow、Pytorch、TVM等都是同时采用多种计算图优化手段进行加速计算，Tensorflow提供了图优化器的API，用户可以直接调用；TVM采用Op Fusion（Operator fusion：combine multiple operators together into a single kernel without saving the intermediate results back into global memory）等方法来进行计算优化。

本文将主要介绍computation graph substitution优化方法。