FastDeploy全场景高性能AI部署工具：加速打通AI模型产业落地的最后一公里

飞桨目前为开发者提供了涵盖多种领域的模型套件，开发者可以使用这些套件基于自身数据集快速完成深度学习模型的训练。但在实际产业部署环境下，开发者在部署模型到不同硬件和不同场景时面临以下三个痛点问题。

• 碎片化。在部署过程中，由于深度学习框架、硬件与平台的多样化，开源社区以及各硬件厂商存在大量分散的工具链，很难通过一款产品，同时满足开发者在服务端、移动端和边缘端，以及服务化场景部署的需求。

• 成本高。这与部署工具链碎片化的现状相关。开发者在不同推理引擎、不同硬件上部署的流程、代码API形态和体验都不尽相同，这带来了很高的学习成本。

• 速度慢。部署中最大的问题是如何将模型在特定的硬件上实现高性能的优化。尽管当前模型套件提供各种轻量级的模型，或开源社区各类推理引擎不断优化模型的推理速度。但在实际部署中，开发者更关注的是模型端到端的优化，包括预处理加速、模型压缩、量化等等。而目前的推理产品都缺少这种端到端的体验。

因此飞桨全新发布新一代部署产品——FastDeploy部署工具，为产业实践中需要推理部署的开发者提供最优解。

• 目前FastDeploy底层包含了飞桨的推理引擎、开源社区硬件厂商的推理引擎，结合飞桨统一硬件适配技术可以满足开发者将模型部署到主流AI硬件的需求。

• 模型压缩与转换工具使得开发者通过统一的部署API实现多框架模型的推理，同时，飞桨自研的PaddleSlim为大家提供更易用、性能更强的模型自动化压缩功能。

• 而在统一的部署API之上，我们还提供了丰富的多场景部署工程，满足开发者对于服务端、移动端、网页端的端到端部署需求。

FastDeploy三大特点

作为全场景高性能部署工具，FastDeploy致力于打造三个特点，与上述提及的三个痛点相对应，分别是全场景、简单易用和极致高效。

全场景

全场景是指FastDeploy的多端多引擎加速部署、多框架模型支持和多硬件部署能力。

多端部署

FastDeploy支持模型在多种推理引擎上部署，底层的推理后端，包括服务端Paddle Inference、移动端和边缘端的Paddle Lite以及网页前端的Paddle.js，并且在上层提供统一的多端部署API。这里以PaddleDetection的PP-YOLOE模型部署为例，用户只需要一行代码，便可实现在不同推理引擎后端间的灵活切换。

• 使用Paddle Inference部署：<