61、多模态生物识别系统的最新趋势与融合方法

多模态生物识别系统的最新趋势与融合方法

1. 不同多模态生物识别系统

在过去的几十年里，为了实现更高的识别准确率，人们提出了许多具有不同生物特征和融合机制的多模态生物识别认证系统。以下是部分系统的介绍：
| 年份 | 融合的模态 | 作者 | 融合级别 | 融合方法 |
| ---- | ---- | ---- | ---- | ---- |
| 1998 | 人脸和指纹 | Hong 和 Jain | 匹配得分 | 乘积规则 |
| 2000 | 人脸、语音和唇部动作 | Frischholz 和 Dieckmann | 决策 | 加权和规则；多数投票 |
| 2003 | 人脸、指纹和手部几何特征 | Ross 和 Jain | 匹配得分 | 求和规则、决策树和线性判别函数 |
| 2004 | 人脸和掌纹 | Feng 等人 | 特征 | 特征拼接 |
| 2005 | 人脸、指纹和手部几何特征 | Jain 等人 | 匹配得分 | 简单求和规则、最大规则和最小规则 |
| 2006 | 掌纹、手形和指关节纹 | Li 等人 | 特征 | 求和、乘积、最小和最大 |
| 2008 | 指纹、人脸和手部几何特征 | Nandakumar 等人 | 匹配得分 | 似然比 |
| 2009 | 人脸、耳朵和签名 | Monwar 和 Gavrilova | 排名 | 逻辑回归、Borda 计数、最高排名 |
| 2010 | 人脸、耳朵和虹膜 | Monwar 和 Gavrilova | 排名 | 马尔可夫链、逻辑回归、Borda 计数 |

这些系统在不同的年份被提出，采用了不同的生物特征组合和融合方法，以提高识别的准确性和可靠性。例如，1998 年 Hong 和 Jain 提出的基于主成分分析（PCA）的人脸和基于细节特征的指纹识别系统，在误识率（FAR）为 0.01% 时，单模态系统的拒识率（FRR）分别为 61.2%（人脸）和 10.6%（指纹），而融合方法的 FRR 为 6.6%，显示出融合方法的优势。

2. 软生物特征

多模态生物识别系统利用多种生物特征标识符（如人脸、耳朵和虹膜）可以缓解单模态生物识别系统的一些问题，并获得更好的识别准确性。然而，在单个系统中使用多个生物特征标识符会增加识别或验证时间，给用户带来更多不便，并增加系统的总体成本。

因此，2004 年引入了软生物特征，通过将其整合到主要的多模态系统中，在不给用户带来任何额外不便的情况下获得相同的识别性能。软生物特征标识符包括性别、种族、身高、体重、眼睛颜色、皮肤颜色、头发颜色等。

要将软生物特征整合到传统的多模态生物识别框架中，需要解决两个关键挑战：
1. 自动且可靠地提取软生物特征信息，而不给用户带来不便。
2. 最优地将这些信息与主要生物特征标识符相结合，以实现最佳识别性能。

3. 多模态生物识别系统中的融合

信息融合是提高生物识别系统匹配准确性的一种优雅方式，而无需采用非生物识别替代方案。信息融合的基本问题是确定应融合的信息类型和融合方法的选择。融合的目标是设计一个合适的函数，能够最优地组合生物识别子系统提供的信息。

多模态生物识别系统中的证据可以在多个不同级别进行整合，但该过程可细分为两个主要类别：匹配前融合和匹配后融合。如果不采用适当的融合方法来组合不同来源提供的证据，多模态生物识别系统的准确性实际上可能低于单模态生物识别系统。

3.1 匹配前融合

匹配前融合在匹配之前整合证据，包括以下级别：
- 传感器级别 ：从多个传感器获取的原始数据可以进行处理和整合，以生成新的数据，从中提取特征。例如，Ratha 等人描述了一种指纹拼接方案，当用户在传感器表面滚动手指时，整合指纹的多个快照。
- 特征级别 ：从多个数据源提取的特征集可以融合，以创建一个新的特征集来代表个体。例如，Feng 等人开发了一个基于特征级融合的多模态生物识别系统，使用人脸和掌纹，采用主成分分析（PCA）和独立成分分析（ICA）作为分类算法，特征拼接作为融合方法。

3.2 匹配后融合

匹配后融合在匹配之后整合证据，包括以下级别：
- 匹配得分级别 ：多个分类器输出一组匹配得分，这些得分被融合以生成单个标量得分。例如，用户的人脸、指纹和手部模态生成的匹配得分可以通过简单求和规则组合，以获得一个新的匹配得分，然后用于做出最终决策。
- 排名级别 ：这种类型的融合适用于识别系统，其中每个分类器为每个注册身份分配一个排名（排名越高表示匹配越好）。融合需要整合与一个身份相关的多个排名，并确定一个新的排名，以帮助做出最终决策。例如，Monwar 和 Gavrilova 开发了一个基于排名级融合的多模态生物识别系统，使用最高排名、Borda 计数和逻辑回归方法。
- 决策级别 ：当每个匹配器输出自己的类别标签（即验证系统中的接受或拒绝，或识别系统中的用户身份）时，可以通过采用“与”/“或”、多数投票、加权多数投票等技术获得单个类别标签。例如，Frischholz 和 Dieckmann 开发了一个商业多模态生物识别系统，使用决策级融合方法的加权和规则和多数投票方法，用于基于模型的人脸分类器、基于矢量量化的语音分类器和基于光流的唇部动作分类器进行人员识别。

3.3 可用于融合的数据

通常，随着生物识别系统的处理过程，系统可用于融合的信息量会减少。生物识别数据在不同阶段的处理预计会减少用户内的变异性和可用信息中包含的噪声量。

在许多实际的多生物识别系统中，较高层次的信息（如原始图像或特征集）可能不可用（例如，商用现货系统中使用的专有特征集），或者不同来源提供的信息可能不兼容（例如，指纹细节特征和特征脸系数）。由于所需信息的不可用性和不兼容性，传感器级别和特征级别融合并非在所有情况下都可行。

决策级融合方法在生物识别系统中得到了很好的研究，但过于僵化，只考虑单一信息进行融合，产生错误识别结果的概率较高。匹配得分级融合是目前研究最多的融合方法，考虑匹配或相似度/距离得分进行融合，但在融合之前需要对相似度/距离得分进行归一化，因为它们可能处于不同的范围。排名级融合仍然研究不足，它也使用相似度/距离得分，但不是直接使用，而是基于这些相似度/距离对身份进行排序，不需要任何归一化过程。

4. 排名级融合

排名级融合用于识别系统，适用于单个匹配器输出模板数据库中“候选者”排名的情况。系统期望为与查询更相似的模板分配更高的排名。

目前，文献中关于生物识别排名信息整合的方法很少，因为这仍然是一个研究不足的问题。Ho、Hull 和 Srihari 描述的三种用于一般多分类器系统最终决策的方法，可以用于多模态生物识别系统的排名级融合，分别是最高排名方法、Borda 计数方法和逻辑回归方法。此外，Nandakumar 等人最近引入了基于贝叶斯方法的排名级融合。

4.1 最高排名方法

最高排名方法适用于组合少量专门的匹配器，因此可以有效地用于单个匹配器表现最佳的多模态生物识别系统。在这种方法中，通过根据身份的最高排名对其进行排序来获得共识排名。

假设我们有 m 个分类器为所有类别分配排名，那么特定类别的共识排名为：
[
\text{共识排名}, R_c = \min_{i = 1}^{m} R_i
]

最终的身份认证排名通过按升序对每个类别的共识排名进行排序获得。

该方法的优点是能够利用每个匹配器的优势。即使只有一个匹配器为正确用户分配了最高排名，在重新排序后，正确用户仍然很可能获得最高排名。缺点是最终排名可能有很多平局（可以随机打破），共享相同排名的类别数量取决于使用的分类器数量。由于这些特性，这种方法不适合安全关键的多模态生物识别系统。

4.2 Borda 计数方法

Borda 计数方法是最广泛使用的排名聚合方法，使用单个匹配器分配的排名之和来计算最终排名。假设我们有 m 个分类器，那么特定类别的共识排名为：
[
\text{共识排名}, R_c = \sum_{i = 1}^{m} R_i
]

最终的身份认证排名通过按升序对每个类别的共识排名进行排序获得。

该方法假设单个匹配器为用户分配的排名在统计上是独立的，并且所有三个匹配器的性能相等。每个类别的 Borda 计数大小衡量了三个匹配器对输入模式属于该类别的一致程度。优点是易于实现，不需要训练阶段，这些特性使得 Borda 计数方法适合纳入多模态生物识别系统。缺点是没有考虑单个匹配器能力的差异，假设所有匹配器的性能相同，而在大多数实际生物识别系统中通常并非如此。

4.3 逻辑回归方法

逻辑回归方法是 Borda 计数方法的一种变体，计算单个排名的加权和。在这种方法中，最终的共识排名通过根据从单个匹配器获得的排名乘以分配的权重之和对身份进行排序获得。

假设我们有 m 个分类器为所有类别分配排名，那么特定类别的共识排名为：
[
\text{共识排名}, R_c = \sum_{i = 1}^{m} W_i R_i
]
其中 (W_i) 是分配给第 i 个分类器的权重。最终的身份认证排名通过按升序对每个类别的共识排名进行排序获得。

分配给不同匹配器的权重由逻辑回归的“logit”函数确定。这种方法在不同匹配器的准确性有显著差异时非常有用，但需要一个训练阶段来确定权重，这可能在计算上很昂贵。此外，生物识别系统性能的一个关键因素是生物识别样本的质量，因此单个匹配器的性能可能会因不同的样本集而有所不同，这使得权重分配过程更具挑战性。不适当的权重分配最终可能会降低使用逻辑回归的多模态生物识别系统的识别性能，与单模态匹配器相比。因此，在某些情况下，逻辑回归方法不能用于排名聚合。

下面通过一个示例来说明这三种排名级融合方法：
假设在一个基于人脸、耳朵和签名的多模态生物识别系统中，“Person 1”从人脸、耳朵和签名匹配器获得的排名分别为 1、2 和 2。
- 最高排名方法 ：“Person 1”的融合得分（最高排名）为 1。同样，“Person 2”、“Person 3”、“Person 4”和“Person 5”的最高排名分别为 1、3、2 和 3。“Person 1”和“Person 2”之间以及“Person 3”和“Person 5”之间存在平局，这些平局被随机打破。在最终的重新排序排名中，“Person 1”在重新排序的排名列表中获得首位，“Person 2”获得第二位。
- Borda 计数方法 ：首先将初始排名相加，“Person 1”到“Person 5”的 Borda 得分分别为 5、7、13、9 和 11。由于“Person 1”的 Borda 得分最低，他/她在重新排序的列表中获得首位。
- 逻辑回归方法 ：为匹配器分配权重，人脸匹配器的权重为 0.1，耳朵匹配器的权重为 0.5，签名匹配器的权重为 0.4。假设权重最小的匹配器性能优于其他匹配器，即人脸匹配器的性能优于耳朵匹配器或签名匹配器。“Person 1”到“Person 5”的融合得分（加权 Borda 得分）分别为 2.2、1.4、4.8、3.4 和 3.5。因此，“Person 2”在重新排序的排名列表中获得首位。

综上所述，不同的排名级融合方法各有优缺点，在实际应用中需要根据具体情况选择合适的方法。同时，多模态生物识别系统的发展为提高生物识别的准确性和可靠性提供了更多的可能性，但也面临着一些挑战，如信息融合方法的选择和软生物特征的整合等。未来，随着技术的不断进步，多模态生物识别系统有望在更多领域得到广泛应用。

以下是一个简单的 mermaid 流程图，展示多模态生物识别系统的融合过程：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;

    A([开始]):::startend --> B{选择融合类型}:::decision
    B -->|匹配前融合| C(传感器级别融合):::process
    B -->|匹配前融合| D(特征级别融合):::process
    B -->|匹配后融合| E(匹配得分级别融合):::process
    B -->|匹配后融合| F(排名级别融合):::process
    B -->|匹配后融合| G(决策级别融合):::process
    C --> H(提取特征):::process
    D --> H
    E --> I(生成单个标量得分):::process
    F --> J(确定新排名):::process
    G --> K(获得单个类别标签):::process
    H --> L(匹配):::process
    I --> L
    J --> L
    K --> L
    L --> M([结束]):::startend

这个流程图展示了多模态生物识别系统中匹配前融合和匹配后融合的不同级别，以及最终的匹配过程。不同的融合级别在整个生物识别过程中发挥着不同的作用，共同提高系统的识别准确性。

5. 排名级融合方法的比较与选择

为了更清晰地了解最高排名方法、Borda 计数方法和逻辑回归方法的特点，下面通过表格进行比较：
| 方法 | 优点 | 缺点 | 适用场景 |
| ---- | ---- | ---- | ---- |
| 最高排名方法 | 能利用每个匹配器的优势，只要有一个匹配器给正确用户最高排名，重新排序后正确用户很可能获最高排名 | 最终排名可能有很多平局，共享相同排名的类别数量取决于分类器数量，不适合安全关键系统 | 单个匹配器表现最佳且分类器数量少的多模态生物识别系统 |
| Borda 计数方法 | 易于实现，不需要训练阶段 | 未考虑单个匹配器能力差异，假设所有匹配器性能相同，与实际情况不符 | 对计算成本和训练要求较低的多模态生物识别系统 |
| 逻辑回归方法 | 在不同匹配器准确性差异显著时有用 | 需要训练阶段确定权重，计算成本高，生物识别样本质量影响权重分配，不适当的权重分配会降低识别性能 | 不同匹配器准确性差异大且有足够计算资源和样本进行训练的多模态生物识别系统 |

在选择排名级融合方法时，需要综合考虑以下因素：
1. 匹配器数量和专业性 ：如果匹配器数量较少且专业性强，最高排名方法可能是一个不错的选择。
2. 计算资源和训练成本 ：若计算资源有限且不想进行训练，Borda 计数方法较为合适；若有足够资源且匹配器准确性差异大，可考虑逻辑回归方法。
3. 安全要求 ：对于安全关键的系统，应避免使用最高排名方法，因为其排名平局问题可能影响准确性。

6. 多模态生物识别系统的发展趋势

随着技术的不断进步，多模态生物识别系统呈现出以下发展趋势：

6.1 融合技术的优化

未来，融合技术将不断优化，以提高多模态生物识别系统的准确性和可靠性。例如，研究人员可能会开发更复杂的融合算法，结合多种融合级别，充分利用不同生物特征的优势。

6.2 软生物特征的深入应用

软生物特征的应用将更加深入，解决提取和融合的关键挑战后，软生物特征将为多模态生物识别系统提供更多的信息，进一步提高识别性能。

6.3 与其他技术的结合

多模态生物识别系统将与其他技术（如人工智能、物联网等）相结合，实现更广泛的应用。例如，在智能家居中，通过多模态生物识别系统实现更智能的门禁控制和设备操作。

6.4 标准化和规范化

随着多模态生物识别系统的广泛应用，标准化和规范化将变得越来越重要。制定统一的标准和规范，有助于提高系统的互操作性和兼容性。

7. 总结

多模态生物识别系统通过融合多种生物特征，为提高生物识别的准确性和可靠性提供了有效的解决方案。信息融合是多模态生物识别系统的核心，包括匹配前融合和匹配后融合，不同的融合级别有不同的特点和适用场景。

排名级融合是一种重要的融合方式，最高排名方法、Borda 计数方法和逻辑回归方法各有优缺点，在实际应用中需要根据具体情况进行选择。同时，软生物特征的引入为多模态生物识别系统带来了新的机遇，但也面临着提取和融合的挑战。

未来，多模态生物识别系统将在融合技术优化、软生物特征应用、与其他技术结合以及标准化等方面不断发展，为人们的生活和工作带来更多的便利和安全保障。

以下是一个 mermaid 流程图，展示多模态生物识别系统的发展趋势：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;

    A([多模态生物识别系统]):::startend --> B(融合技术优化):::process
    A --> C(软生物特征深入应用):::process
    A --> D(与其他技术结合):::process
    A --> E(标准化和规范化):::process
    B --> F(提高准确性和可靠性):::process
    C --> F
    D --> F
    E --> F
    F --> G([更广泛应用和安全保障]):::startend

这个流程图展示了多模态生物识别系统的发展趋势以及这些趋势如何共同促进系统的发展，最终实现更广泛的应用和更高的安全保障。