OpenVINO在iGPU上加载模型比CPU慢

官方解答地址：

为什么模型加载时间比 CPU 长？ (intel.cn)

总结

快速步骤以改善 GPU 上的模型加载时间

说明

将输入模型的中间表示 （IR） 加载到 GPU 需要的时间比将相同模型加载到 CPU 还要长。

解决方法

在应用程序的工作目录中手动创建cl_cache目录。

驱动程序将使用此目录存储已编译内核的二进制表示形式。这将适用于所有受支持的操作系统。

其他信息：

有关管理cl_cache的更多信息，请参阅本文 。

将输入模型加载到中间表示 （IR） 格式到 GPU 需要的时间比将同一模型加载到 CPU 需要更长的时间，因为 GPU 堆栈基于 OpenCL*。加载时间取决于 OpenCL* 内核的编译时间。

当您启用 cl_cache时，第一次加载模型仍需花费很长时间，因为 OpenCL* 内核将进行编译。但是，同一模型的每一次加载速度将大大提高