深度学习编译器汇总

原创

于 2023-06-29 10:45:00 发布

· 894 阅读

4 ·

版权

文章标签：

#深度学习 #人工智能

本文探讨了深度学习对各科学领域的深远影响，重点介绍了深度学习框架如TensorFlow、PyTorch和ONNX在模型转换中的作用。同时，提到了深度学习编译器如TVM的重要性，它们通过优化和编译提高代码在不同硬件上的效率。这些编译器利用多层次IR和特定领域的优化技术，降低了跨框架工作的复杂性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

深度学习的发展对个科学领域产生了深远的影响。它不仅在自然语言处理（NLP）和计算机视觉（CV）等人工智能领域显示出显著的价值，而且在电子商务、智慧城市和药物发现等更广泛的应用领域也取得了巨大的成功。随着卷积神经网络（CNN）、递归神经网络（RNN）、长-短期记忆（LSTM）和生成对抗网络（GAN）等多种深度学习模型的出现，简化各种DL模型的编程以实现其广泛采用至关重要。

在工业界和学术界的不断努力下，一些流行的DL框架被提出，如TensorFlow、PyTorch、MXNet和CNTK，以简化各种DL模型的实现。尽管上述DL框架根据其设计中的权衡有其优点和缺点，但是在跨现有DL模型支持新兴DL模型时，互操作性对于减少冗余工程工作变得非常重要。为了提供互操作性，ONNX被提出，它定义了表示DL模型的统一格式，以便于不同DL框架之间的模型转换。

为了解决DL库和工具的缺点，减轻手动优化每个DL硬件上的DL模型的负担，DL社区正在促进特定领域的编译器的发展。目前工业界和学术界已经提出了几种流行的DL编译器，如TVM、Tensor Comprehension、Glow、nGraph和XLA。DL编译器将DL框架中描述的模型定义作为输入，并在各种DL硬件上生成有效的代码实现作为输出。针对模型规范和硬件架构，对模型定义和具体代码实现之间的转换进行了高度