机器学习编译器的前世今生

OneFlow深度学习框架

已于 2022-10-28 12:27:21 修改

阅读量1w

点赞数 11

CC 4.0 BY-SA版权

分类专栏：业界观点文章标签：机器学习人工智能编译器深度学习 LLVM

于 2022-10-27 08:03:42 首次发布

本文链接：https://blog.youkuaiyun.com/OneFlow_Official/article/details/127563984

本文介绍了机器学习编译器在边缘计算中的重要性，阐述了编译器如何解决模型在不同硬件上的兼容性和性能问题。通过中间表示（IR）桥接框架与硬件，编译器优化模型以提高运行效率。文章还探讨了局部和全局优化方法，以及人工设计与基于ML的编译器之间的区别。TVM和MLIR等编译器工具的出现，使得模型能在多种硬件上高效运行，降低了部署成本和优化难度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作者｜Chip Huyen

翻译｜胡燕君、贾川、程浩源

我承认，在大学的编译器课上哭了，后来我选择成为一名机器学习工程师，以为再也不用被编译器烦扰。

然而，当我逐渐了解ML模型如何投入生产应用，关于编译器的问题不断涌现。在许多用例中，尤其是用边缘设备运行ML模型时，模型的成功与否仍然取决于运行它的硬件（https://hardwarelottery.github.io/）。因此，了解模型的编译和优化，以及模型在不同硬件加速器上的运行非常重要。

理想情况下，我们不需要特别关注编译器，一切都会“正常工作”。然而，要实现这个目标还有很长的路要走。

如今，越来越多公司希望用边缘设备运行ML模型，运行ML模型的硬件越来越多，为了让ML模型能在硬件加速器上更好地运行，也诞生了越来越多编译器——例如MLIR dialects、TVM、XLA、 PyTorch Glow、cuDNN等。根据PyTorch创始人Soumith Chintala的说法，随着ML的应用逐渐成熟，公司之间的竞争将转向谁能更好地编译和优化模型。

ML的下一个战场是编译器（Soumith Chintala，Venture Beat 2020）

了解编译器的工作原理可以帮你选对编译器，让模型在所选硬件上的运行效果达到最佳，也能帮你诊断模型性能问题并加快模型运行速度。

本文对ML编译器进行了通俗介绍。ML编译器始于边缘计算的兴起，这使编译器不再是系统工程师的专属，而是全体ML从业者关心的领域。如果你已十分了解用边缘设备运行ML的重要性，可以跳过下文第一部分。

然后我将谈及在边缘设备部署ML模型的两个主要问题：兼容性和性能，并说明编译器如何解决这些问题，以及它的工作原理。本文最后还将提供关于如何通过几行代码来显著提高ML模型速度的参考资料。

云计算 VS 边缘计算

想象一下，你已经训练出一个出色的ML模型，其精度远超你的期望，然后你迫不及待地部署这个模型，来让用户使用。

最简单的方法是将模型打包并通过托管云服务（如AWS或GCP）进行部署，这也是许多公司在最初使用ML时的做法。云服务在这方面贡献巨大，使得企业可以轻松将ML模型投入生产。

但是，云部署也有很多缺点。首先是成本。ML模型需要进行大量计算，而计算的成本很高。早在2018年，Pinterest、Infor、Intuit等大公司每年在云服务上的开销就已超数亿美元。而对于中小型公司来说，这个数字每年可能在5-200万美元之间。初创公司在云服务方面稍有不慎，可能就会导致破产。

AWS使用量激增，企业云账单金额飙升（图源The Information, 2018)

随着云计算费用不断攀升，越来越多公司试图将计算转移到消费设备（边缘设备）。在边缘设备上完成的计算越多，对云服务的需求就越少，他们要支付的费用就越少。

除了能降低成本，边缘计算还有许多优势。首先，边缘计算的可运行范围更广。当模型位于公有云上时，向云端发送并接收数据需要依赖稳定的网络连接。但边缘计算可以使模型在没有网络连接或连接不稳定的情况下继续运行，比如在农村地区或发展中国家。

其次，边缘计算可以减少网络延迟的困扰。如果必须使用网络传输数据（将数据发送到云端的模型进行预测，然后将预测发送回用户），那么某些用例可能就无法实现。在许多情况下，网络延迟比推理延迟更严重。例如，你或许能够将ResNet50模型的推理延迟从30毫秒降低到20毫秒，但其网络延迟可能会高达数秒，具体情况取决于你的所在地网络。

第三，边缘计算可以更好地保护敏感的用户数据。云计算ML模型意味着可能要通过网络来发送用户数据，增加了数据被拦截的风险。同时，云计算还将诸多用户的数据存储在同一位置，这意味着一旦发生数据泄露就会影响许多人。据《安全》杂志2020年报道，近80%的公司在过去18个月内曾遭遇过云数据泄露(https://www.securitymagazine.com/articles/92533-nearly-80-of-companies-experienced-a-cloud-data-breach-in-past-18-months)。边缘计算使得企业可以更安全地传输和存储用户数据，避免违反GDPR等数据保护条例。

编译：兼容性

相对于云计算，边缘计算具有许多优势，因此许多企业正竞相开发针对不同ML用例优化的边缘设备。谷歌、苹果、特斯拉等知名巨头都宣布自研芯片。与此同时，不少ML硬件初创公司也融资数十亿美元来开发更好的AI芯片。

AI硬件初创公司的不完全统计（融资信息来自CrunchBase）