21、智能相机、MPSoC与异构多核平台的软件编译优化技术

智能相机、MPSoC与异构多核平台的软件编译优化技术

1. 智能相机与MPSoC相关技术

在计算机视觉领域，智能相机和多处理器片上系统（MPSoC）的发展带来了诸多先进的技术应用。

1.1 人脸检测系统架构

人脸检测在监控到相机自动对焦等众多应用中广泛使用。有一个用于嵌入式人脸检测的系统架构，包含多个阶段：
- 过滤单元：创建分辨率从300×300到20×20的图像金字塔。
- 直方图均衡化单元：调整每个20×20窗口的曝光。
- 旋转检测网络：识别可能人脸的旋转情况。
- 图像旋转单元：执行所需的旋转以进行归一化。
- 亮度和对比度调整单元：调整对比度以增强面部特征。
- 一组三个检测神经网络：执行最终的人脸检测。

每个单元包含三个并行阶段，每个阶段旨在识别不同的组件特征，还有一个最终分类阶段。

1.2 图形处理单元（GPU）

GPU在传统算法计算机视觉系统中广泛应用，也用于人工神经网络。它提供流式多处理器和大量内部内存带宽，可被计算机视觉等数据并行应用利用。GPU还提供不同级别的浮点精度，让设计者可以在精度、性能和功耗之间进行权衡。

移动GPU利用桌面GPU架构，减少处理元素数量以用于低功耗移动应用。例如：
| 型号 | GPU架构 | CUDA核心数 | 张量核心数 | CPU配置 | 其他 |
| ---- | ---- | ---- | ---- | ---- | ---- |
| NVIDIA Jetson TX2 | Pascal架构 | 256 | 无 | 双核Denver 2 64位CP