15、认知环境中用于增强安全的音频分析

认知环境中用于增强安全的音频分析

1. 音频基础概念

1.1 录音

录音是一系列数组样本的集合，当检测到静音时会进行切割，每个样本代表一个声音。例如，前后带有静音的脚步声也属于声音。

1.2 音频事件

音频事件不仅包含实际的音频数据，还能通过软件增加声音的方向信息、对声音源的检测和识别（声音源是持续发出声音且静止或在空间中移动的实体）以及声音发射器的分类信息。

1.3 音频事件元数据

音频事件元数据是指去除原始录制声音数据后的音频事件。

2. 音频分析中的人工智能

2.1 认知麦克风

认知麦克风是系统的核心，它结合了硬件结构（可能是定向麦克风）和处理单元。麦克风用于记录环境音频，并将数据（包括声音方向）提供给处理单元，处理单元中的特定软件用于处理音频信号并识别录制的声音。

认知麦克风检测到的每个音频事件提供的信息主要包括：
- 位置信息 ：
- 实时获取每个样本的音频源即时方向信息。
- 跟踪空间中移动的音频源，将声音发射器识别为物理对象，而非仅仅是音频帧中产生的声音。
- 分类信息 ：根据音频识别算法对检测到的声音类型进行分类，以识别事件和发出被分析声音的源。分类依据训练集和相关标签（如 YAMnet/AudioSet 中使用的标签）进行划分，并且可以通过后续对神经网络的再训练进行扩展。

2.2 多麦克风组合的应用

单个认知麦克风可以独立提供有价值的数据，但实际应