36、计算生物声学场景分析：从声音中解码自然信息

元编程奶

于 2025-09-19 12:20:16 发布

阅读量34

点赞数

CC 4.0 BY-SA版权

分类专栏：听见世界的算法文章标签：生物声学声音分类声源分离

本文链接：https://blog.youkuaiyun.com/b9c0d/article/details/152355299

听见世界的算法专栏收录该内容

48 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

计算生物声学场景分析：从声音中解码自然信息

1. 生物声学分类的多元任务

在生物声学研究中，物种标记并非唯一被深入研究的分类任务。对发声中的单个单元（“音节”）进行标记，以及对特定物种的个体进行标记都具有重要意义。个体标记有助于估算种群数量，分析个体间的相互作用。然而，在使用黑箱机器学习技术进行个体识别时，需注意一个关键问题：由于个体往往具有不同的领地或活动范围，每个个体的声音记录不仅前景声音不同，背景声音也存在差异。这种混淆问题可能会影响分类器的通用性，尤其是在用于识别罕见情况（如额外配对交配）时，这个问题更为关键。

另一个在自动生物声学分类中较少被明确处理的问题是“开放集”问题。即声音可能来自训练集中未遇到的“新”类别，例如动物发出训练数据中没有的不常见叫声，或者记录到之前未见过的个体。Ptacek等人开发了一种个体分类方法来解决这个问题，该方法利用通用背景模型（UBM），在分类时，将查询信号的得分与UBM以及特定个体的模型进行评估，从而判断查询信号来自已知个体还是未知个体。

2. 声音源分离技术

当声音场景包含多个动物发声或复杂的背景声音时，将声音彼此分离以便分析每个动物的声音是常见需求。但同时分离所有声源是一项具有挑战性的任务，超出了动物自身的感知系统能力。在生物声学监测应用中，单麦克风录音基于信号属性模型的声源分离实用性有限。

多麦克风设置基于空间信息（波束形成或空间滤波）进行声源分离是更有效的方法。它可以聚焦于特定个体或感兴趣的物种，类似于野外录音师使用抛物面麦克风录制焦点个体的手动技术。另一种多麦克风方法是直接将监测设备附着在每个焦点个体上，但这需要提前识别和捕获个体，且对于小型动物，要注意设备对其行为和福利的影响。此外，还可以考虑不依赖声源不混合假设的方法，如分析多个体序列和进行整体声景分析。

3. 动物声音相似度测量

判断两个动物发声的相似度在许多研究场景中都很重要。研究人员可能希望通过聚类分析来表征动物的发声曲目，或者测量鸣禽的发声学习能力。

在衡量相似度时，需要明确其含义。不同物种的声学感知存在差异，理想情况下应基于研究物种的感知相似度，但通常会使用人类判断作为替代。早期对鸟类声音的研究使用从发声中直接测量的特征，如持续时间、最小和最大音高，但这些特征的区分度有限。

更常见的是使用互相关等相似度度量来比较音频文件，现在对频谱图进行互相关更为普遍，它可以忽略波形中的小相位差异。然而，互相关在处理声音持续时间不同的情况时效果不佳。为了增加灵活性，可以采用动态时间规整（DTW）方法，它能寻找灵活的时间匹配以最小化整体距离度量，但计算量较大，适用于对精度要求较高的场景。另一种基于概率建模的方法是使用隐马尔可夫模型（HMM），它能更好地适应复杂发声，但在生物声学中的应用效果因研究而异。

以下是几种相似度测量方法的比较表格：
| 方法 | 优点 | 缺点 | 适用场景 |
| ---- | ---- | ---- | ---- |
| 直接特征测量 | 易于理解 | 区分度有限 | 初步分析 |
| 互相关 | 能比较时间序列 | 对持续时间差异处理不佳 | 声音时间特征差异明显的情况 |
| 动态时间规整（DTW） | 灵活性高 | 计算量大 | 对精度要求高的场景 |
| 隐马尔可夫模型（HMM） | 适应复杂发声 | 应用效果因研究而异 | 复杂发声且训练数据充足的情况 |

4. 发声序列分析

许多生物声学家对发声的单个单元的序列感兴趣，这类似于人类语言中单个单词的排序。在计算生物声学分析中，关键问题包括如何对序列进行有效建模，如何从数据中估计其特征，以及序列知识如何帮助进一步的音频分析。

分析音频片段时，常用马尔可夫模型或n - 元模型。首先需要将音频流分割成单元并进行标记，通常使用离散的单元标签。但这种离散化存在一定的随意性，可能会掩盖一些重要信息。

马尔可夫模型能对基本的序列现象进行有用的表征，其扩展模型如半马尔可夫模型（SMM）或显式持续时间马尔可夫模型（EDMM），考虑了每个符号的重复次数，更适合许多动物的发声。此外，还有上下文相关马尔可夫模型和层次马尔可夫模型，但对于发出复杂序列的动物，其发声背后的结构缺乏科学共识。

现有的马尔可夫模型忽略了动物声音序列的一个重要方面：时间。自相关和互相关可用于分析发声的时间，生成模型也可用于拟合观测数据，以明确因果关系。马尔可夫更新过程（MRP）将时间信息纳入马尔可夫模型，可用于对单个数据流进行分析，还能实现事件的聚类或源分离。

以下是发声序列分析的流程图：

graph TD;
    A[音频片段] --> B[分割成单元];
    B --> C[单元标记];
    C --> D[转换为符号序列];
    D --> E[马尔可夫模型分析];
    E --> F[扩展模型分析（SMM、EDMM等）];
    D --> G[考虑时间信息（自相关、互相关、MRP）];

5. 整体声景分析：生态声学

许多生物声学分析从定位录音中的单个发声单元开始，但识别单元并非完全准确，且音频信号中可能存在重要的上下文信息。整体声景分析旨在直接从整个声景录音中提取所需信息，而无需将其分割成对象。

一些系统可以对整个声景进行多标签分类，而无需分割声音场景。为了监测生态系统的健康或多样性等信息，研究人员开发了各种方法来表征生态系统声景的声学多样性，即生态声学。

声学多样性没有明确的定义，研究人员致力于开发与分析师直觉相符的声学指标。Sueur等人定义了两种声学指标，α指标表征单个音频片段，β指标表征两个音频片段之间的差异。常用的Df指标衡量两个音频片段的频谱差异，其数值范围为0到1。Lellouch等人开发的累积频率差异指数Dcf能对两个片段之间的轻微频率偏移有更高的容忍度。

经验探索的α指标“声学复杂度指数”（ACI）衡量从一个频谱图帧到下一个频谱图帧的能量变化量。然而，这些指标容易受到天气噪声等干扰声音的影响，未来的工作需要提高其鲁棒性。在海洋环境中，ACI能较好地反映生物活动，但在陆地环境中，对于整体声学指标的实用性，不同研究的结论存在差异。

以下是生态声学中部分指标的计算公式总结：
| 指标 | 计算公式 |
| ---- | ---- |
| Df | (D_f = \frac{1}{2} \sum_{f = 0}^{F - 1} \left| \frac{X_1[f]}{\sum X_1[\cdot]} - \frac{X_2[f]}{\sum X_2[\cdot]} \right|) |
| Dcf | (D_{cf} = \frac{1}{F} \sum_{f = 0}^{F - 1} \left| \sum_{g = 0}^{f} \frac{X_1[g]}{\sum X_1[\cdot]} - \sum_{g = 0}^{f} \frac{X_2[g]}{\sum X_2[\cdot]} \right|) |
| ACI(f) | (ACI(f) = \frac{\sum_{t = 1}^{T - 1} |X[t, f] - X[t + 1, f]|}{\sum_{t = 1}^{T - 1} |X[t, f]|}) |

生物声学的各个方面都在不断发展和完善，从分类到源分离，从相似度测量到序列分析和整体声景分析，每一个环节都为我们深入了解动物的发声和生态系统提供了重要的信息。但同时，这些方法也面临着各种挑战，需要我们不断探索和改进。

6. 生物声学分类任务的挑战与应对

在生物声学分类中，多个层面存在挑战。对于个体识别，背景声音差异导致的混淆问题是一大阻碍。不同个体因领地差异，其声音记录的背景声音不同，这可能影响分类器的通用性。为应对此问题，在数据采集阶段，可尽量在相同或相似的环境中记录个体声音，减少背景差异。在算法层面，可对音频进行预处理，去除明显的背景噪声，提高特征的纯净度。

“开放集”问题也是分类中需要解决的难题。当遇到训练集中未出现的声音类别时，分类系统可能无法准确判断。Ptacek等人提出的利用通用背景模型（UBM）的方法是一种有效解决方案。不过，在实际应用中，需要不断更新和优化UBM，以适应更多未知情况。可以定期收集新的声音样本，对UBM进行重新训练，提高其对新类别声音的包容性。

7. 声源分离技术的发展方向

多麦克风设置的声源分离方法虽然在生物声学监测中有较好的应用前景，但也存在一些问题。例如，设备成本较高，安装和维护较为复杂。未来的发展方向可以是研发更小型化、低成本的多麦克风设备，提高其便携性和易用性。同时，优化基于空间信息的声源分离算法，提高分离的准确性和效率。

直接将监测设备附着在个体上的方法，对于小型动物存在设备负载影响其行为和福利的问题。可以研发更轻便、低功耗的监测设备，减少对动物的影响。也可以探索非接触式的监测技术，如利用光学或红外传感器辅助声源定位和分离。

不依赖声源不混合假设的方法，如分析多个体序列和整体声景分析，具有很大的发展潜力。在多个体序列分析中，可以进一步研究序列的动态变化规律，结合机器学习算法，提高对个体发声和群体行为的理解。整体声景分析方面，需要提高声学指标的鲁棒性，减少天气噪声等干扰因素的影响。

以下是声源分离技术发展方向的列表：
- 研发小型化、低成本多麦克风设备
- 优化基于空间信息的声源分离算法
- 研发轻便、低功耗监测设备
- 探索非接触式监测技术
- 深入研究多个体序列动态变化规律
- 提高声学指标鲁棒性

8. 动物声音相似度测量的优化策略

在动物声音相似度测量中，不同方法各有优缺点。为了提高测量的准确性和适用性，可以根据具体的研究场景选择合适的方法。对于对计算资源要求不高、声音持续时间相对稳定的场景，可以优先使用互相关方法。而对于需要高精度、声音变化复杂的场景，动态时间规整（DTW）或隐马尔可夫模型（HMM）可能更合适。

可以将多种相似度测量方法结合使用，发挥各自的优势。例如，先使用互相关方法进行初步筛选，然后对筛选出的相似声音再使用DTW或HMM进行更精确的分析。还可以通过增加训练数据的多样性，提高模型的泛化能力。对于HMM，可以使用更多不同个体、不同环境下的声音样本进行训练，使其能更好地适应各种复杂情况。

9. 发声序列分析的深入研究

发声序列分析中，马尔可夫模型及其扩展模型虽然能对序列现象进行一定的表征，但对于复杂的动物发声序列，其结构和机制还需要更深入的研究。可以结合神经科学和行为学的知识，探索动物发声序列背后的生理和心理机制。

考虑时间信息的发声序列分析是一个重要的研究方向。可以进一步研究时间特征与声音内容、个体行为之间的关系。例如，通过分析声音的时间间隔和节奏，判断动物的情绪状态或社交行为。马尔可夫更新过程（MRP）在这方面有一定的应用，但还可以进一步优化其模型结构和参数估计方法，提高其对时间信息的处理能力。

以下是发声序列分析深入研究的流程图：

graph TD;
    A[现有马尔可夫模型分析] --> B[结合神经科学和行为学知识];
    B --> C[探索发声序列生理和心理机制];
    A --> D[深入研究时间特征与行为关系];
    D --> E[分析声音时间间隔和节奏];
    D --> F[判断动物情绪和社交行为];
    A --> G[优化马尔可夫更新过程（MRP）];
    G --> H[改进模型结构和参数估计方法];