29、立体视觉移动辅助系统与神经网络符号函数提取技术

立体视觉移动辅助系统与神经网络符号函数提取技术

1. 立体视觉移动辅助系统

立体视觉移动辅助系统旨在为视力受损的人提供帮助，其整体架构利用两个标准相机作为立体视觉系统。在使用前，这两个相机需绑定并进行校准，以获取深度图。深度图对于获取附近障碍物的位置和大小信息至关重要，通过深度图分割算法可以实现这一目标。以下是该系统的详细介绍：
- 系统架构 ：系统采用两个标准相机组成立体视觉系统，经过绑定和校准后，可获得深度图。通过进一步处理，能提取特定障碍物与相机之间的距离。对于每个检测到的障碍物，构建特征向量并查询数据库以识别该物体。识别物体后，查询基于本体的识别系统（OBRS）以确定物体的更多属性和相互关联的威胁。语义描述可实现以下功能：
- 对特定障碍物进行分类。
- 描述物体之间的关系。
- 描述特定物体与所处环境的关系。
- 通过提供语义规则对物体之间的动态关系进行建模。
- 进行风险管理。
OBRS 用于风险评估和提出适当的行动计划，以减少或消除发现的威胁。最后，将描述威胁和建议行动计划的消息以文本形式构建，并通过 TTS（文本转语音）应用程序转换为语音。
- 障碍物检测
- 立体匹配 ：立体匹配有不同的方法，大致可分为两组。第一组算法使用局部特征来计算视差图，第二组结合局部和全局约束，最小化成本函数。局部方法能在较短时间内获得视差图，但质量较差；而结合全局约束的方法能生成高精度的视差图，但无法实时完成。
- 深度图分割 ：在环境中定位特定物体之前，需要从深度图中对其进行