26、OpenVX：跨平台高效实现计算机视觉应用

OpenVX：跨平台高效实现计算机视觉应用

1. OpenCL 互操作扩展

OpenCL 互操作扩展为 OpenVX 内的应用程序和用户算法提供了高效实现的支持，具备以下六个关键特性：
1. 共享上下文对象 ：OpenVX 和 OpenCL 应用程序共享一个通用的 cl_context 对象。
2. 共享命令队列 ：共享一组通用的顺序 cl_command_queue 对象，用于 OpenVX 和 OpenCL 应用程序/用户内核之间的协调。
3. 导出内存缓冲区 ：OpenCL 应用程序可以将 cl_mem 缓冲区导出给 OpenVX。
4. 回收内存缓冲区 ：OpenCL 应用程序能够从 OpenVX 回收导出的 cl_mem 缓冲区。
5. 临时映射数据对象 ：OpenCL 应用程序/用户内核可以将 OpenVX 数据对象临时映射到 cl_mem 缓冲区。
6. 数据复制机制 ：支持在 cl_mem 缓冲区和 OpenVX 数据对象之间进行复制操作。

以下是一段设置 OpenCL 内核参数并执行的代码示例：

// set OpenCL kernel arguments
data->params.x_stride_1 = x_stride[1] / sizeof(short);
data->params.x_stride_2 = x_stride[2] / sizeof(short);
data->params.y_stride_1 = y_stride[1] / sizeof(short);
data->params.y_stride_2 = y_stride[2] / sizeof(short);
clSetKernelArg(data->opencl_kernel, 0,
sizeof(hard_sigmoid_params), (void *)&data->params);
clSetKernelArg(data->opencl_kernel, 1,
sizeof(cl_mem), (void *)&x_mem);
clSetKernelArg(data->opencl_kernel, 2,
sizeof(cl_mem), (void *)&y_mem);
// enqueue the "hard_sigmoid" kernel for execution using
// the OpenVX internal command queue:
cl_command_queue opencl_cmdq;
vxQueryNode(node, VX_NODE_CL_COMMAND_QUEUE,
&opencl_cmdq, sizeof(cl_command_queue));
clEnqueueNDRangeKernel(opencl_cmdq, data->opencl_kernel,
3, NULL, data->global_work_size, NULL, 0, NULL, NULL);
// give the ownership of the OpenCL buffers back to the OpenVX
vxUnmapTensorPatch(tensor_x, x_map_id);
vxUnmapTensorPatch(tensor_y, y_map_id);
return VX_SUCCESS;

2. OpenVX 在不同平台的实现

2.1 CPU 实现

• 开源示例实现 ：开源的 OpenVX 示例实现可在 CPU 上构建和运行，虽然核心计算未优化，但它是 OpenVX 标准的完整功能实现，可作为开发优化代码的起点。
• 缓存优化 ：在计算机视觉应用中，传统的非图 API 可能导致缓存使用效率低下，而基于图的 OpenVX API 可以通过 vxVerifyGraph 函数将全图像计算转换为基于图块的计算，自动优化以适应特定硬件的缓存。
• 向量多媒体指令 ：现代 CPU 具有丰富的向量多媒体指令，OpenVX 实现可以利用这些指令进行优化，同时提供一致性测试套件确保应用程序的可移植性。
• 多线程处理 ：OpenVX 实现可以将图块计算分配给不同的线程，利用多线程技术提高性能，而应用程序员无需处理同步原语的复杂性。

以下是 CPU 实现中缓存使用问题的流程图：

graph TD;
    A[开始处理图像] --> B[使用非图 API 全图像计算];
    B --> C{图像是否能完全放入缓存};
    C -- 否 --> D[缓存满，移除旧数据];
    D --> E[后续操作需重新从大内存读取数据];
    E --> F[性能下降];
    C -- 是 --> G[正常处理];
    A --> H[使用 OpenVX 图 API];
    H --> I[vxVerifyGraph 转换为图块计算];
    I --> J[图块数据可保留在缓存中];
    J --> K[后续操作直接使用缓存数据];
    K --> L[性能提升];

2.2 DSP 实现

• DMA 引擎 ：DSP 平台通常具有直接内存访问（DMA）引擎，可以显式编程以在内存层次结构之间移动数据。DMA 引擎可以并行运行，与主处理器同时进行数据传输。
• 图像分块处理 ：通过将输入图像划分为图块，DMA 引擎可以将图块从大内存移动到小的快速内存中，主处理器在快速内存中处理数据，实现高效的处理流水线。
• 数据与计算平衡 ：根据计算时间和数据移动时间的关系，算法可以分为数据绑定和计算绑定。处理器和算法通常设计为实现计算和数据移动的平衡，以最大化处理器周期和内存带宽的利用率。
• OpenVX 图结构的作用 ：OpenVX 图结构可以帮助在 DSP 上实现高效的数据处理，将整个图设置为在快速内存中的图块上运行，减少数据在大内存和快速内存之间的移动。

以下是 DSP 实现中数据处理流程的表格：
| 步骤 | 操作 | 说明 |
| ---- | ---- | ---- |
| 1 | 输入图像分块 | 将输入图像划分为多个图块 |
| 2 | DMA 移动图块 | DMA 引擎将图块从大内存移动到快速内存 |
| 3 | 主处理器计算 | 主处理器在快速内存中处理当前图块 |
| 4 | DMA 移动结果 | 当当前图块计算完成后，DMA 引擎将结果写回大内存 |
| 5 | 重复步骤 2 - 4 | 继续处理下一个图块 |

2.3 GPU 实现

• 大规模多线程 ：GPU 具有专门的硬件支持大规模多线程，通过将图像划分为图块并为每个图块分配一个线程，可以隐藏内存延迟，提高性能。
• 减少内存传输 ：在异构系统中，CPU 和 GPU 通常有独立的主内存，OpenVX 图结构、数据对象的不透明性和虚拟对象的可用性可以减少 CPU 和 GPU 之间的内存传输。
• 内存类型优化 ：GPU 有多种内存类型，OpenVX 实现可以在 vxVerifyGraph 函数中分析图，自动确定中间数据对象使用的内存类型，以最大化性能。
• 内核生成 ：OpenCL 包含在线内核编译器，OpenVX 实现可以利用此功能生成针对特定图的优化 OpenCL 内核代码，甚至生成一个执行整个 OpenVX 图的高度优化的内核。

以下是 GPU 实现中多线程处理的流程图：

graph TD;
    A[开始处理图像] --> B[图像分块];
    B --> C[为每个图块分配线程];
    C --> D{线程输入数据是否可用};
    D -- 是 --> E[线程开始执行];
    D -- 否 --> F[线程等待数据加载];
    F --> G[数据加载完成];
    G --> E;
    E --> H[线程处理完成];
    H --> I{是否所有线程处理完成};
    I -- 否 --> C;
    I -- 是 --> J[处理结束];

通过这些特性和优化，OpenVX 为不同平台上的计算机视觉应用提供了高效、可移植的实现方式。无论是 CPU、DSP 还是 GPU，OpenVX 都能帮助开发者充分利用硬件资源，提高应用程序的性能和效率。

2.4 特殊用途硬件实现

特殊用途硬件是为特定的计算机视觉任务而专门设计的。这类硬件针对特定的算法或操作进行了高度优化，能够以极高的效率执行这些任务。

• 高度定制化 ：特殊用途硬件可以根据具体的应用需求进行定制设计，例如针对特定的卷积神经网络（CNN）架构进行优化，使得硬件能够更高效地执行卷积、池化等操作。
• 高性能 ：由于其专门为特定任务设计，特殊用途硬件在执行这些任务时能够实现极高的性能，远远超过通用处理器。
• 低功耗 ：相比于通用处理器，特殊用途硬件通常能够在更低的功耗下完成相同的任务，这对于嵌入式设备和移动设备尤为重要。

特殊用途硬件实现的优势在于其能够为特定的计算机视觉应用提供定制化的解决方案，实现高性能和低功耗的完美结合。然而，其缺点也很明显，即缺乏通用性，只能用于特定的任务，对于其他任务可能无法发挥作用。

以下是特殊用途硬件实现的优势和劣势对比表格：
| 优势 | 劣势 |
| ---- | ---- |
| 高度定制化，针对特定任务优化 | 缺乏通用性，只能用于特定任务 |
| 高性能，远超通用处理器 | 开发成本高，需要专门的设计和制造 |
| 低功耗，适合嵌入式和移动设备 | 扩展性差，难以适应任务变化 |

2.5 FPGA 实现

现场可编程门阵列（FPGA）是一种可重构的硬件平台，具有高度的灵活性和可定制性。

• 可重构性 ：FPGA 可以根据不同的应用需求进行重新配置，实现不同的电路功能。这使得 FPGA 能够适应各种不同的计算机视觉算法和任务。
• 并行处理能力 ：FPGA 具有大量的可编程逻辑单元，可以同时执行多个操作，实现高度的并行处理。这对于计算机视觉中的大规模数据处理非常有利。
• 低延迟 ：由于 FPGA 可以直接对硬件进行编程，避免了软件层面的开销，因此能够实现低延迟的数据处理。

虽然目前没有专门基于 FPGA 的 OpenVX 实现，但许多支持 OpenVX 的平台都在 FPGA 硬件上进行了原型设计。FPGA 的可重构性和并行处理能力使其成为实现 OpenVX 应用的潜在优秀平台。

以下是 FPGA 实现的工作流程流程图：

graph TD;
    A[确定应用需求] --> B[设计 FPGA 逻辑电路];
    B --> C[对 FPGA 进行编程配置];
    C --> D[输入计算机视觉数据];
    D --> E[FPGA 并行处理数据];
    E --> F[输出处理结果];

2.6 混合系统级芯片（SoCs）实现

混合系统级芯片（SoCs）结合了多种不同类型的处理单元，如 CPU、GPU、DSP 等，以提供更强大的计算能力和更广泛的应用支持。

• 异构计算 ：SoCs 可以利用不同处理单元的优势，实现异构计算。例如，CPU 可以用于控制和管理任务，GPU 可以用于大规模并行计算，DSP 可以用于信号处理等。
• 资源整合 ：SoCs 将多种处理单元集成在一个芯片上，减少了系统的体积和功耗，提高了系统的整体性能和可靠性。
• 灵活性 ：混合 SoCs 可以根据不同的应用需求进行灵活配置，选择合适的处理单元组合来实现最佳的性能和功耗平衡。

OpenVX 在混合 SoCs 上的实现可以充分发挥各种处理单元的优势，实现高效的计算机视觉应用。例如，通过 OpenVX 图结构，可以将不同的任务分配给不同的处理单元，实现资源的最优利用。

以下是混合 SoCs 实现中任务分配的列表：
1. CPU ：负责系统的控制和管理任务，如初始化、配置和调度。
2. GPU ：执行大规模并行计算任务，如图像处理、深度学习推理等。
3. DSP ：进行信号处理和滤波等任务，提高数据处理的效率。

3. 总结

OpenVX 作为一种用于计算机视觉应用的 API，在多种硬件平台上都展现出了强大的优势和潜力。

从 CPU 实现来看，它通过图结构优化了缓存使用，利用向量多媒体指令和多线程技术提高了性能，并且保证了应用的可移植性。在 DSP 实现中，借助 DMA 引擎和图结构，实现了高效的数据处理和低功耗运行。GPU 实现则充分发挥了大规模多线程和复杂内存管理的优势，通过自动优化和内核生成提高了计算效率。特殊用途硬件和 FPGA 实现分别提供了定制化和可重构的解决方案，而混合 SoCs 实现则整合了多种处理单元的优势，实现了异构计算。

这些不同平台的实现共同体现了 OpenVX 的核心价值：高效性、可移植性和灵活性。开发者可以根据具体的应用需求和硬件资源，选择最合适的平台和实现方式，从而充分发挥 OpenVX 的优势，开发出高性能、低功耗的计算机视觉应用。无论是在嵌入式设备、移动设备还是高性能计算平台上，OpenVX 都为计算机视觉的发展提供了有力的支持。