12、助力视障与听障人群的智能系统方案

助力视障与听障人群的智能系统方案

1. 视障辅助智能应用系统

1.1 系统核心组件

• YOLO 框架 ：具有快速且灵活的特点，在 Titan X GPU 上能实现 51ms 的处理速度。它将候选框提取、特征提取和分类方法融合为一体，直接从图像中提取候选框以进行目标检测。
• OpenCV 库 ：这是一个常用的开源计算机视觉库，由英特尔公司推动发展。它支持多种编程语言以及众多深度学习 API 或框架，如 Keras、TensorFlow 等。
• 语音引擎 ：采用跨平台库 pyttsx3 提供语音辅助功能，能将文本合成音频，用户可通过扬声器收听。该引擎使用简单的语音驱动，在开源 Python 世界中是最灵活的文本转语音工具，适用于 Windows 和 Linux 操作系统。

1.2 系统架构与实现

1.2.1 方法论

系统启动后，摄像头捕获帧并将其输入到框架中。框架会在视频输入中检测物体，并在其周围添加边界框进行标注。标注文本随后被转换为音频输出，为用户提供物体状态信息。检测到的物体将存储在数据文件中，用于后续将物体名称从文本转换为语音，与用户进行沟通。

1.2.2 流程描述

1. 训练数据 ：使用 Common Objects in Context (COCO) 数据集进行模型训练，该数据集包含 80 个目标类别和约 10 万张训练图像，其中用于本次训练的有 20