9、迈向实时、低资源、端到端的目标检测管道

迈向实时、低资源、端到端的目标检测管道

1. 数据增强策略

为了提升目标检测的效果，尤其是在数据集图像中目标不常出现的位置和尺寸上，采用了多种数据增强技术。
- 几何增强 ：包括裁剪、翻转和缩放等操作，这些操作有助于提高在数据集图像中目标不常出现的位置和尺寸上的检测效果。
- Mosaic 增强 ：用于组合多张图像，在存在多个目标的情况下非常有用。
- 光度增强 ：在 HSV 颜色空间中进行变换，以实现对光照条件、材料颜色和纹理以及相机曝光波动的不变性。

2. 分析计算约束

在资源有限的情况下，计算需求至关重要。因此，需要深入理解这些约束，并研究在这些约束内可以实现的目标。

2.1 软件栈选择

选择 TensorFlow Lite (TFLite) 作为推理库，主要基于以下几个原因：
- 高级神经网络层支持 ：TFLite 支持比其他库更广泛的激活函数和层类型（如批量归一化）。
- 多线程操作 ：允许使用多个线程，而其他专用库通常不支持。
- 使用 XNNPack 进行优化 ：包括使用高级指令集（主要是 SSE），与其他许多库类似。
- GPU 支持 ：TFLite 是唯一具有 OpenCL 支持的轻量级库，从而可以利用 GPU 作为额外的硬件资源。

2.2 计算基准测试