weixin_38498942的博客

看 /docs/QNN/general/sample_app.html 了解开发 Android 应用程序的详细信息，该应用程序使用 QNN API 在 HTP 加速器上执行 ML 工作负载。有关为 Android 目标编译 Rust 代码的信息，请参阅： https: //mozilla.github.io/firefox-browser-architecture /experiments/2017-09-21-rust-on-android.html。准备要执行的二进制文件和库。预计执行时间：四分钟。

在本笔记本中，您将学习如何在 Snapdragon 或 Android 设备上的 Windows 上执行优化和准备好的模型，包括如何单独运行模型以及如何作为在给定用户提示时执行的稳定扩散管道的一部分。本指南将详细介绍如何使用 Qualcomm AI Engine Direct SDK 在 Snapdragon 设备上的 Windows 上执行稳定扩散模型。请注意，在本文档的其余部分中，术语 Qualcomm 神经网络 (QNN) 将与 Qualcomm AI Engine Direct SDK 互换使用。

它演示了如何使用 Qualcomm AI Engine 直接软件和硬件在 Snapdragon 设备上的 Windows 上运行稳定扩散模型。在本笔记本中，您将学习如何在 Snapdragon 或 Android 设备上的 Windows 上执行优化和准备好的模型，包括如何单独运行模型以及如何作为在给定用户提示时执行的稳定扩散管道的一部分。本指南将详细介绍如何使用 Qualcomm AI Engine Direct SDK 在 Snapdragon 设备上的 Windows 上执行稳定扩散模型。

此步骤需要上一步中的模型共享对象库以及libQnnHtp.soQualcomm AI Engine Direct SDK 中提供的库。Qualcomm AI Engine Direct SDKqnn-model-lib-generator将模型.cpp和.bin文件编译为特定目标的共享对象库。下一步是使用 Qualcomm AI Engine Direct SDK 中提供的可执行实用程序在 Snapdragon Gen2 Android 设备上执行准备好的模型（现在表示为序列化上下文二进制文件）。

在本笔记本中，您将学习如何准备在 Snapdragon 或 Android 设备上的 Windows 上运行的优化模型，包括如何将 .onnx 文件转换为 Qualcomm AI Engine Direct 等效文件、生成 Qualcomm AI Engine Direct 模型库，并生成 Qualcomm AI Engine Direct 上下文二进制文件以在 Snapdragon 设备上使用。有关后端扩展和配置参数的文档可在 Qualcomm AI Engine Direct SDK 文档中找到。

本指南展示了如何准备和优化稳定扩散模型，以便使用 Qualcomm AI Stack 在 Snapdragon 设备上运行。应按顺序遵循（模型优化、模型准备和模型执行）Jupyter 笔记，因为一个笔记的输出将被下一个笔记使用，例如，优化的模型文件用于 AI Engine Direct 模型准备，输出上下文二进制文件是在目标 Snapdragon 设备上执行模型时使用。笔记需要下载笔记才能在本地计算机上运行。要下载笔记，请单击下载图标并选择笔记本。

连接到 Qualcomm TFLite SDK docker 容器后，可以在以下位置找到该映像： “/mnt/tflite/src/tensorflow/tensorflow/lite/examples/label_image/testdata/grace_hopper.bmp”相同的构建环境可以重复用于增量开发。图像是 Qualcomm TFLite SDK 提供的实用程序，它展示了如何加载预先训练和转换的 TensorFlow Lite 模型并使用它来识别图像中的对象。此过程是使用容器的替代方法。

tflite-tools 项目中的辅助 shell 脚本（位于 Qualcomm TFLite SDK 源代码树中）提供辅助实用函数来设置 shell 环境，可用于 Qualcomm TFLite SDK 工作流程。开发人员在容器内构建 Qualcomm TFLite SDK 项目，并使用 tflite-tools 提供的实用程序生成工件。开发人员将设备连接到工作站，并将容器中的 Qualcomm TFLite SDK 工件直接安装在设备 (QCS8550) 上。

Qualcomm TensorFlow Lite软件开发套件（Qualcomm TFLite SDK）工具为设备端人工智能（AI）推理提供TensorFlow Lite框架，方便应用开发者开发或运行合适的AI应用。本文档提供了编译独立 Qualcomm TFLite SDK 和设置开发环境的分步说明。设置开发人员可以编译 Qualcomm TFLite SDK 的构建环境开发独立的 Qualcomm TFLite SDK 应用程序。

Qualcomm AI Engine Direct SDK 允许客户在 HTP 硬件上运行机器学习模型。以下步骤描述了如何在具有 HTP 功能的 Snapdragon (WoS) 平台上的 Windows 上准备和执行稳定扩散模型。请注意，在本文档的其余部分中，术语 Qualcomm 神经网络 (QNN) 将与 Qualcomm AI Engine Direct SDK 互换使用。

Qualcomm AI Engine Direct SDK 允许客户在 HTP 硬件上运行机器学习模型。以下步骤描述了如何在具有 HTP 功能的 Linux 平台上准备和执行稳定扩散模型。本文档交替使用术语 Qualcomm 神经网络 (QNN) 和 Qualcomm AI Engine Direct SDK。

ChatGPT抓住了我们的想象力和我们的好奇心。在2022年11月推出仅两个月后，它的月活跃用户就达到了1亿，是历史上增长最快的消费应用，也是第一个生成式人工智能“杀手”应用。随着创新步伐的快速发展，要跟上生成式人工智能的发展就变得越来越困难了。据一家主要聚合网站称，目前有超过3000个生成式人工智能应用程序和功能可用。4人工智能正在经历一个大爆炸的时刻，类似于电视、全球网络或智能手机的发布。而这还只是个开始。

Qualcomm® AI Engine Direct SDK 中提供的基准测试由一组 Python 脚本组成，这些脚本在目标设备上运行网络并收集性能指标。它使用 SDK 包中的可执行文件和库在目标上运行已编译的 model.so 文件，使用一组网络输入以及指向该组输入的文件。基准测试脚本的输入是 JSON 格式的配置文件。SDK 附带一个用于运行 InceptionV3 模型的配置文件，该文件是按照 SDK 文档中的说明创建的。

构建示例操作包包含 Relu 操作的示例 Op 包的源代码适用于 CPU、GPU、DSP 和 HTP 后端。每个后端对于构建 Op Package 消耗品都有不同的要求qnn-net-run。CPU后端编译默认情况下，为 Linux x86-64 和 Android 架构构建 CPU 示例 Op 包，并且依赖于 Android NDK 工具链。确保已ANDROID_NDK_ROOT设置。请参阅设置以获取更多信息。$ make。

qnn-net-run使用libQnnModelDlc.so实用程序库作为–model参数和 Inception_v3_quantized.dlc 作为参数来执行模型–dlc_path。这会生成${QNN_SDK_ROOT}/examples/Models/InceptionV3/model/Inception_v3.dlcDLC 文件。本教程仅关注共享缓冲区的使用。以下是 ION 共享缓冲区的表示，其中每个张量都有自己的共享缓冲区，具有自己唯一的内存指针、文件描述符和内存句柄。

只需将教程中的qnn-net-run 替换为qnn-sample-app.exe应该会有所帮助。本教程介绍如何使用 QNN API 构建 C++ 应用程序，该应用程序可以执行使用 Linux 主机或 Android 设备上的 qnn 转换器之一创建的模型，并介绍了qnn-sample-app的工作原理。执行上面的命令后，您应该能够看到 $QNN_SDK_ROOT/examples/QNN/SampleApp/build/src/Release/qnn-sample-app.exe。

saver_output.c 是通过在 Saver 后端运行模型而生成的工件。示例和文件位于 .model.binmodel.cppmodel.bin${QNN_SDK_ROOT}/examples/QNN/converter/models/要编译 saver_output.c 以在后端重播，请使用Makefile位于 ${QNN_SDK_ROOT}/examples/QNN/Saver. 此 makefile 可用于在兼容平台上为指定的 QNN 后端编译 saver_output.c。

saver_output.c 是通过在 Saver 后端运行模型而生成的工件。示例和文件位于 .model.binmodel.cppmodel.bin${QNN_SDK_ROOT}/examples/QNN/converter/models/要编译 saver_output.c 以在后端重播，请使用Makefile位于 ${QNN_SDK_ROOT}/examples/QNN/Saver. 此 makefile 可用于在兼容平台上为指定的 QNN 后端编译 saver_output.c。

对于 x86_64-windows 下的模型转换，请在设置 python 依赖项Windows Platform Dependencies后，在命令前面执行带有 command 的 Python 脚本。此过程从经过训练的源框架模型开始，使用 QNN 转换器将其转换并构建到一系列 QNN API 调用中，然后在特定后端上执行。离线生成的模型将由单独发布的LPAI SDK执行。现在您将在 下找到 Inception_v3.dll C:\tmp\qnn_tmp\model_libs\x64，并准备好执行推理。

非量化模型文件使用网络参数的 32 位浮点表示。量化模型文件使用网络参数的定点表示，通常为 8 位权重和 8 或 32 位偏差。定点表示与 Tensorflow 量化模型中使用的相同。在量化模型或非量化​​模型之间进行选择CPU - 选择非量化模型。量化模型目前与 CPU 后端不兼容。DSP - 选择量化模型。在 DSP 后端运行时需要量化模型。GPU - 选择非量化模型。量化模型目前与 GPU 后端不兼容。HTP - 选择量化模型。在 HTP 后端运行时需要量化模型。

Qualcomm® AI Engine Direct目前支持四种框架的转换器：Tensorflow、TFLite、PyTorch 和 Onnx。每个转换器至少需要原始框架模型作为输入来生成 Qualcomm® AI Engine 直接模型。有关其他所需的输入，请参阅下面的框架特定部分。转换器工作流程每个转换器有四个主要部分：前端翻译，负责将原始框架模型转换为通用中间表示（IR）通用 IR 代码包含图形和 IR 操作定义以及可应用于翻译图形的各种图形优化。

该文件的名称与protobuf模型文件的名称相同。如果您从运行推理引擎诊断中传递了 image_list.txt 中的多个图像，您将收到多个输出/Result_x，选择与您用于框架诊断的输入相匹配的结果进行比较（即，在框架中您使用了 chair.raw 和 inference chair.raw 是 image_list.txt 中的第一项，然后选择 output/Result_0，如果 chair.raw 是 image_list.txt 中的第二项，则选择 output/Result_1)。

用户可以通过更新 $QNN_SDK_ROOT/lib/python/qti/aisw/accuracy_evaluator/common/defaults.py 中的 qacc.default_inference_schemas.htp_mcp_x86.inference_schema.compiler_params.elf_path 来更改路径。ADB_PATH ：设置 ADB 二进制文件的路径。第 2 行：QNN 节点名称为“Node_name_2”的节点上的问题是该节点的输入张量的通道数小于 32。

使用参数将此文件传递给 qnn-net-run --config_file。/examples/QNN/NetRun/android/android-qnn-net-run.sh有关如何在 Android 设备上使用工具的参考，请参阅脚本qnn-net-run。/examples/QNN/NetRun/android/android-qnn-net-run.sh有关如何在 Android 设备上使用工具的参考，请参阅脚本qnn-net-run。

对于想要在 Windows 操作系统设备上运行 qnn-model-lib-generator 的开发人员，它位于 /bin/aarch64-windows-msvc 下。qnn -context-binary-generator工具用于通过使用特定后端并使用qnn-model-lib-generator创建的模型库来创建上下文二进制文件。qnn-model-lib-generator 位于 SDK 中的 /bin/x86_64-windows-msvc 下，供本机 Windows-PC 使用。

qnn-pytorch-converter工具将 PyTorch 模型转换为 CPP 文件，将模型表示为一系列 QNN API 调用。qnn-tflite-converter工具将 TFLite 模型转换为 CPP 文件，将模型表示为一系列 QNN API 调用。qnn -onnx-converter工具将模型从 ONNX 框架转换为 CPP 文件，将模型表示为一系列 QNN API 调用。库的扩展名命名：对于 Windows 开发人员，请将以下部分中的所有“.so”文件替换为类似的“.dll”文件。

qnn-op-package-generator将 XML 配置作为输入，描述包属性以及指定是否生成转换器 op 包并生成 QNN 转换器 op 包目录结构的–converter_op_pacakge或选项。qnn-op-package-generator使用–converter_op_pacakge或选项执行-cop除了 QNN op 包之外还会创建 Converter op 包。生成的 Converter op 包的名称将为 QNN op 包名称附加字符串Converter_Op_Package。

此外，每个输入和输出都支持 QNN_DATATYPE_UFIXED_POINT_8 和 QNN_DATATYPE_UFIXED_POINT_16 作为 HTP 包的数据类型。HTP 包支持激活张量的 QNN_DATATYPE_UFIXED_POINT_8 和 QNN_DATATYPE_UFIXED_POINT_16 数据类型。请注意，此示例中的后端支持是用 SupplementalOpDefList 中的 SupportedOp 列表指示的，而不是 OpDef 本身的 BackendSupport 元素。

将详细探讨以下要素：操作定义补充操作定义操作定义列表补充OpDef列表OpDef集合这里给出了描述这些实体之间关系的简单 UML 图：笔记以@为前缀的成员是XML属性，没有前缀的成员是XML元素。操作定义OpDef 是一个描述最高级别操作的 XML 元素。即，它包含以下内容。有内容的元素是必需的，空的元素是可选的。

在本节中，我们将介绍两种生成的源文件：接口文件和特定于操作的文件。该接口一般不需要额外的实现，而源文件只包含应由用户完成的空函数体。本节中使用的代码引用了目录结构中生成的包。笔记生成的特定于操作的文件的内容可能因后端而异。笔记为了获得良好的性能和稳定性，需要避免在已完成的操作执行函数中分配堆内存，即Impl、 _executeOp以及分别在 HTP、DSP 和 CPU 期间执行的执行函数图形执行。

qnn-profile-viewer应用程序可以接受不同的读者和作者。QNN GPU 后端提供 libQnnGpuProfilingReader.so 库，以 JSON 格式输出分析数据。

假设没有与此路径对应的现有磁盘存储库。如果 QNN GPU 上下文检测到磁盘上的内核存储库是由同名的 op 包生成的，但 kernelRepoHash 不同，则磁盘上的存储库将自动失效。支持QnnContext 自定义配置（QnnGpuContext_CustomConfig_t）和上下文优先级（请参阅Qnn_Priority_t 和QnnContext_ConfigOption_t ）。所有 QNN GPU 后端专业化都可以在该${QNN_SDK_ROOT}/include/QNN/GPU/目录下找到。

对于要加载的两个后端库，可以从某个库显式加载该库的第二个副本 与第一个库所在的目录不同的目录，或者在期间创建了重复的文件系统 进程执行（对于 android 目标，adb remount）。将此与多线程推理进行比较。排序和数据分页：随着操作数量的增加，Context Binary 还必须需要存储 有关操作顺序的信息以及有关数据分页的信息（需要进行哪些操作） 写入 DDR 并需要在执行期间带回 VTCM）。使用量化感知训练可以消除使用 16 位激活的需要，并且可以允许使用 8 位激活，这将提高性能和功耗。

PReLU 操作是为这些操作执行的一些后台操作以及最佳实践 指南建议应将 PReLU 操作替换为 ReLU 操作。通过替换来更改图表 带有 ReLU 的 PReLU 操作为我们提供了与下图所示相同的模型 展示模型 1 优化图表，即 如前所述，优化得更好。所有操作 也有大量的并行操作执行 - 正如它们各自的重叠时间所证明的那样 数字 - 表明优化良好。总图执行时间明显减少，操作也有更好的背景 利用率表明比以前有更好的优化。接下来，展示模型 3 图表说明了一个模型 与展示模型 1 优化 中的类似 图表。

下一个， 每个操作都有一个“重叠（等待）”条目，该条目类似于“等待”条目，但周期 本条目中报告的对应于“等待”期（即，在至少一个后台操作上花费的周期，而 主线程正在等待）。此外，还可以生成包含 chrometrace 格式的分析数据的文件 如果在使用以下命令运行 qnn-profile-viewer 工具时使用 --output 选项指定了输出文件 libQnnChrometraceProfilingReader.so 阅读器插件。详细的分析报告按周期计数而不是以微秒为单位的时间提供每个操作的分析结果。

POWER_SAVER、LOW_POWER_SAVER 和 HIGH_POWER_SAVER频率较低，不支持投票。有效设置为 low_balanced、balanced、default、high_performance、持续_high_performance、burst、low_power_saver、 power_saver、high_power_saver、extreme_power_saver 和 system_settings。用户可以通过后端配置为 HTP 后端设置自定义选项和不同的性能模式。

下面的 setPowerConfig API 具有提供高性能的设置， 用户可以根据自己的需求尝试不同的设置。尝试运行 float32 图形的 QNN HTP 客户端应调用 QnnGraph_create() 带有 Struct QnnGraph_Config_t 其中将包括 Struct QnnHtpGraph_CustomConfig_t 使用配置来设置 枚举 Qnn_Precision_t。性能参数表显示各种性能配置文件的设置。以下是性能设置所需的参数以及启用性能基础架构中的参数所需的相关 API。

如果用户同时指定 QNN_HTP_DEVICE_CONFIG_OPTION_SOC 和 QNN_HTP_DEVICE_CONFIG_OPTION_ARCH ，HTP后端驱动程序使用QNN_HTP_DEVICE_CONFIG_OPTION_SOC配置并忽略 QNN_HTP_DEVICE_CONFIG_OPTION_ARCH 配置。我们建议使用 QNN_HTP_DEVICE_CONFIG_OPTION_SOC 而不是 QNN_HTP_DEVICE_CONFIG_OPTION_ARCH。

Qualcomm® AI Engine Direct SDK 也经过验证，可在适用于 Linux 的 Windows 子系统 (WSL2) 中运行 环境版本 1.1.3.0，目前仅限于 Linux 主机可运行工件，例如转换器， 模型生成和运行工具（有关更多详细信息，请参阅工具）。如果您想设置自己的 WSL2 环境，可以按照 说明位于 https://learn.microsoft.com/en-us/windows/wsl/install。您可能需要安装适当的交叉编译 工具链以便为特定后端编译此类包。

本文档提供 Qualcomm® AI Engine Direct 软件开发套件 (SDK) 的参考指南。笔记Qualcomm® AI Engine Direct 在源代码和文档中也称为 Qualcomm 神经网络 (QNN)。Qualcomm® AI Engine Direct 是 Qualcomm Technologies Inc. (QTI) 用于 AI/ML 用例的软件架构 关于 QTI 芯片组和 AI 加速核心。