shimetapi RGB+EVS视觉融合相机：开源高性能事件视觉算法库

简介

HVAlgo 是ShiMetaPi 专为事件相机（Event Camera）设计的高性能算法库，提供了多种先进的事件去噪、计算机视觉和图像恢复算法。该库基于ShiMetaPi Hybird Vision SDK 构建，支持实时事件流处理，适用于机器人视觉、自动驾驶、高速运动分析等应用场景。

ShiMetaPi Hybrid Vision SDK 由 hybrid_vision_toolkit 和 hybrid_vision_algo 两个独立的SDK组成，分别实现视觉融合相机的接口控制和算法处理。

项目框图

shimetapi_Hybrid_vision_algo (算法层 SDK)

• 定位： 这是 SDK 的核心算法处理层，位于架构的中间层（黄色部分）。

• 核心功能： 专注于处理来自事件相机的原始数据流，执行高级的计算机视觉算法，以提升数据质量、提取有用信息或进行三维理解。

• 包含的模块：

  • 降噪 (Denoise): 去除事件流中的噪声，提高信号质量。

  • 插值 (Interpolation): 用于在事件之间生成中间数据点，或与标准帧图像进行时空对齐/融合。

  • 修复 (Restoration): 用于处理数据缺失或异常。

  • 计算机视觉/三维视觉 (CV/CV3D): 包含实现事件相机特定或融合应用的算法，如目标检测、跟踪、三维重建、姿态估计等。

  • 样本与数据 (Samples/data): 提供示例代码、模型或必要的数据集。

  • 外部依赖 (external): 通过集成第三方库给用户提供更多设备的选择,例如：shimetapi Hybrid vision toolkit`，OpenEb(通过命令安装)等 。

• 作用： 它为上层应用 (APP) 提供了经过处理、增强或理解的事件数据信息。应用开发者主要调用这一层的接口来实现事件相机的高级功能（如播放、录制、分析）。

shimetapi_Hybrid_vision_toolkit (HAL层工具包)

• 定位： 这是 SDK 的 硬件抽象层 (HAL) 和基础工具层 ，位于算法层之下（深蓝色部分）。

• 核心功能： 提供与硬件交互和数据流基础操作的功能。它负责从物理接口读取原始数据，进行初步处理（如编解码），并将数据传递给上层算法层，同时也接收上层指令控制硬件。

• 包含的关键模块/功能：

  • 读取 (Read): 从硬件接口（如 USB）获取原始事件数据流。

  • 写入 (Write): 用于将处理后的数据或控制指令发送回硬件（如果支持）。

  • 设置 (Setting): 配置相机参数（如分辨率、灵敏度等）。

  • 解码器 (Decoder): 如果事件数据以特定格式编码传输，负责将其解码为可处理的格式。

  • 编码器 (Encoder): 用于将处理后的数据或