Non-linear PLDA for i-Vector Speaker Verification

最新推荐文章于 2020-04-16 19:48:02 发布
最新推荐文章于 2020-04-16 19:48:02 发布
阅读量318 收藏
点赞数
分类专栏： 论文翻译 文章标签： 2015interspeech论文翻译
博客涉及2015 Interspeech论文翻译相关内容，但具体信息未给出。

X-VECTOR:ROBUST DNN EMBEDDING FOR SPEAKER RECOGNITION
qq_29439985的博客
04-03 842
2019/04/02 X-VECTOR:robust dnn embedding for speaker recognition abstract DNN + data augmentation -> better performance of speaker recognition DNN i. variable-length utterances –(mappin...
【kaldi】声纹识别之X-vector
初级菜鸟
12-29 1万+
一．搞了几天，首先说一下X-vector的优势： 1.训练速度非常快 2.无需特定语种的训练集，由于设置一个embedding层进行提取特征直接进行plda打分 3.识别率不错 二．Kaldi中有现成的例子，可供研究 https://github.com/kaldi-asr/kaldi/tree/master/egs/sre16/v2 https://github.com/kaldi-...
i-vector
weixin_39011425的博客
11-22 409
i-vector 这张图里没有写ivector的total variability space是怎么训练的，并且也没有写详细推导total factor w（ivector）的公式，就是一个简单的思维导图。 参考论文：N. Dehak et al. “Front-end factor analysis for speaker verification”. ...
PLDA的原理和em训练(为了be user friendly开始用latex写公式)
robingao1994的博客
08-21 7782
最近一直在学习和操作PLDA,感觉这个算法太有才了，对身份验证如人脸识别，声纹识别，OCR都有用．   先对自己的工作和面试别人以及被面试有一份感悟： 1.数学太重要了，有些人看论文难啃的原因就是公式看不懂，公式看不懂就是数学不好，后面要慢慢补起来 2.感觉工程能力太重要，不管是在工作中还是面试，算法最终能否实现还是要看你的手上的活．这是我的弱项，慢慢补 3.很多面试官不管候选人简历，直...
PLDA
林宋的搬砖流水账
06-04 1447
PLDA（Probabilistic Linear Discriminant Analysis）是一种信道补偿算法，认为ivector中既有说话人信息，又有channel信息，想要滤去channel信息（信道），需要对信道进行补偿。 ref：《Probabilistic Linear Discriminant Analysis for Inferences About Identity》 其中提...
声纹识别之PLDA算法描述
热门推荐
njustzj001的专栏
08-05 3万+
之前我写过《我对说话人识别/声纹识别的研究综述》，本篇基本上可以是这个综述的续写。其实，写的也没有什么深度，想获得深度信息的朋友们可以不用往下看了，还不如下载几篇领域内的国内博士论文看看。为什么是国内呢？因为国内博士论文前面的综述写的还不错，嘿嘿~我写这个主要是给不熟悉这个领域内的朋友看的，用通熟的话描述这个领域内重要的一些算法，等于是入个门吧。PLDA算法前面博客已经提到过声纹识别的信道补偿算法，
声纹识别-3.i-vector/PLDA（上篇）
白水煮蝎子
04-16 3478
声纹识别-3.i-vector/PLDA 前言 前面两篇博文分别介绍了声纹识别的绪论和传统的GMM-UBM声纹识别算法。本文介绍，到目前为止，在声纹识别领域仍具有很大影响力的i-vector1/PLDA2(identification vector, Probabilistic Linear Discriminant Analysis，辨识向量，概率线性判别分析)。i-vector是代表说话人的向...
voxceleb-ivector:基于Voxceleb1 i-vector的说话人识别系统
05-17
该存储库包含使用Kaldi在Voxceleb1 [1]数据集上训练i-vector说话者识别系统的简单脚本。 它是根据Kaldi / egs / sre10上的run.sh文件修改的。 要求 卡尔迪工具包 如何使用 将所有文件移至{kaldi_root} / egs / sre10...
Deep Neural Network Embeddings for Text-Indenpendent Speaker Verification 中文.pdf
07-08
文件中还提到了使用PLDA（Probabilistic Linear Discriminant Analysis）作为后端对嵌入进行评分，并将研究成果与i-vector基线进行比较。 标签部分提到了“X-VECTOR 声纹识别 文本无关 中文翻译 DanPovey”。X-...
X-VECTORS ROBUST DNN EMBEDDINGS FOR SPEAKER RECOGNITION 中文.pdf
07-08
在说话人识别系统中，大多数现有技术是基于i-vector，其核心思想是将语音数据的高维统计特性映射到低维表示（即i-vector），然后利用概率线性判别分析（PLDA）分类器进行比较，从而判定是否为同一说话人。...
Duration Dependent Covariance Regularization in PLDA Modeling for Speaker Verification
02-06
- **PLDA**：概率线性判别分析（Probabilistic Linear Discriminant Analysis），是一种常用于说话人识别任务中的统计建模技术。它通过构建一个概率模型来区分不同的说话人。 - **协方差正则化**：在统计学中，正则...
i-vector的工具箱
12-12
MSR Identity Toolbox: A Matlab Toolbox for Speaker Recognition Research Version 1.0 Seyed Omid Sadjadi, Malcolm Slaney, and Larry Heck Microsoft Research, Conversational Systems Research Center (CSRC) s.omid.sadjadi@gmail.com, {mslaney,larry.heck}@microsoft.com This report serves as a user manual for the tools available in the Microsoft Research (MSR) Identity Toolbox. This toolbox contains a collection of Matlab tools and routines that can be used for research and development in speaker recognition. It provides researchers with a test bed for developing new front-end and back-end techniques, allowing replicable evaluation of new advancements. It will also help newcomers in the field by lowering the “barrier to entry”, enabling them to quickly build baseline systems for their experiments. Although the focus of this toolbox is on speaker recognition, it can also be used for other speech related applications such as language, dialect and accent identification. In recent years, the design of robust and effective speaker recognition algorithms has attracted significant research effort from academic and commercial institutions. Speaker recognition has evolved substantially over the past 40 years; from discrete vector quantization (VQ) based systems to adapted Gaussian mixture model (GMM) solutions, and more recently to factor analysis based Eigenvoice (i-vector) frameworks. The Identity Toolbox provides tools that implement both the conventional GMM-UBM and state-of-the-art i-vector based speaker recognition strategies. A speaker recognition system includes two primary components: a front-end and a back-end. The front-end transforms acoustic waveforms into more compact and less redundant representations called acoustic features. Cepstral features are most often used for speaker recognition. It is practical to only retain the high signal-to-noise ratio (SNR) regions of the waveform, therefore there is also a need for a speech activity detector (SAD) in the fr
说话人识别/声纹识别学习路径的资料整理,从零学声纹识别
robingao1994的博客
09-12 1万+
昨天帮新同事讲解了一波说话人识别的理论,并且帮他整理了资料让他学习, 这个博客就是把最具有代表性的资料记录下来,前提,我假设你知道啥是MFCC,啥是VAD,啥是CMVN了. 说话人识别学习路径无非就是 GMM-UBM -> JFA -> Ivector-PLDA -> DNN embeddings -> E2E 首先 GMM-UBM, 最经典代表作: Speaker...
转发大神关于说话人识别的ivector系统的说明，看了瞬间懂了
qq_27292549的博客
03-08 5896
作者：Leon晋 链接：https://www.zhihu.com/question/63978977/answer/215215119 来源：知乎 1、先用一部分训练集（包含多个说话人），通过EM期望最大化算法，训练UBM通用背景模型；通常我们会先训练一个协方差对角矩阵，再训练全矩阵，理由如下： 1、M阶高斯的稠密全矩阵UBM效果等同于一个更大高斯分量的对角矩阵； 2、对角UBM...
声纹识别之i-vector/plda
子耶
03-12 5964
文章目录gmm-ubmi-vectorpldaReference 最近做声纹识别的项目，要用到i-vector/plad，通过查阅各种资料，大概弄清楚了整个过程的来龙去脉，在此记录一下。 整个过程为gmm-ubm -> i-vector -> plda gmm-ubm Steps: 背景数据 -> UBM -> ubm’s mean super-vector UBM -&...
I-Vector的推导详解
weixin_38206214的博客
08-09 1万+
在深度学习的路上，从头开始了解一下各项技术。本人是DL小白，连续记录我自己看的一些东西，大家可以互相交流。 一、前言 目前UBM-MAP-GMM是一种说话人确认技术的标准系统，在JFA模型下，我们可以把生成式模型扩展成为具有说话人部分(本征音空间矩阵V)和信道部分(本征信道空间矩阵U)这两个联合模型。但是，在JFA的实际使用中，我们发现说话人部分和信道部分没办法完美分离，还会存在一定的干扰。受...
声纹识别笔记（二）提取ivector与PLDA流程概述以及最新模型
一听音频技术
04-11 3925
GMM-UBM GMM：均值、方差、权重 UBM：共性特征 i-vector MAP说话人自适应 m：UBM的均值（已知） s：把UBM针对特定说话人调整成GMM，GMM的均值（通过特征得到） T：训练得到 w：特定说话人的ivector 一般只更新均值，不更新方差 DNN-based ivector d-vector 输入之前的30帧和之后的10帧，总共4...
Kaldi中的plda的训练以及computer-socre
zjm750617105的专栏
10-16 9773
最近一直有个疑惑，plda是怎么训练的？就是plda是怎么计算得分的? 又是怎么根据得分进行判断说话人的？ EER跟准确率之间又是什么关系？ 时间很紧，论文还没写，需要静一静，好好弄明白这个来清醒一下。 提取完i-vector之后，计算出每一句话的ivector特征，然后计算了sreivector-mean scp:exp/ivectors_sre/ivector.scp exp/ivector
KALDI中aishell之V1模型后续2
weixin_38858860的博客
11-08 1933
根据run.sh文件中，下一步执行utils中 fix_data_dir.sh的脚本。步骤同上面一样找 fix_data_dir.sh中的eg部分，然后在V1目录下执行： ./utils/data/fix_data_dir.sh data/train 结果如下 根据run.sh文件中，下一步执行sid中 train_diag_ubm.sh的脚本 ./sid/train_diag...
详解 i-vector 和 x-vector
最新发布
04-03
<think>好的，我现在需要详细解释i-vector和x-vector，并且确保符合之前用户提供的格式要求。首先，我需要回忆这两种技术的核心概念、发展背景、结构差异以及应用场景。 首先，i-vector是说话人识别中的一种方法，全称为“身份向量”（Identity Vector），主要用于将高维度的语音特征映射到低维的子空间。它是在GMM-UBM之后发展起来的，解决了GMM-UBM在高维数据上的不足。而x-vector则是更近期的技术，基于深度神经网络（DNN），在结构上不同于传统的因子分析方法。 接下来，我需要分步骤详细阐述两者的定义、核心思想、训练流程、关键技术细节、应用场景以及对比。同时，要确保数学公式用正确的LaTeX格式，行内公式用$...$，独立公式用$$...$$，并且结构清晰。 首先，i-vector部分： 1. **基本定义**：i-vector是一个低维的固定长度向量，能够捕捉语音中的说话人和信道信息。它基于因子分析模型，将语音会话表示为全局差异空间（Total Variability Space）中的一个点。 2. **核心思想**：传统方法如JFA（联合因子分析）分别处理说话人和信道因子，而i-vector将其合并为一个总变差空间，简化模型并提高效果。 3. **训练流程**： - 训练UBM，提取Baum-Welch统计量。 - 估计总变差矩阵T，将高维的Baum-Welch统计量投影到低维i-vector。 4. **数学公式**：需要包括i-vector的生成公式，如M = m + Tw，其中M是GMM均值超向量，m是UBM均值超向量，T是总变差矩阵，w是i-vector。 5. **关键技术细节**：可能需要提到后处理，如PLDA（概率线性判别分析）用于信道补偿。 然后是x-vector部分： 1. **基本定义**：x-vector是基于深度神经网络的嵌入向量，通过DNN从语音中直接提取说话人特征，通常在时延神经网络（TDNN）结构上实现。 2. **核心思想**：利用深度学习的强大表示能力，直接从帧级别的特征聚合到说话人级别的特征，减少对手工设计特征的依赖。 3. **训练流程**： - 输入是帧级别的特征（如MFCCs）。 - 经过多个时间延迟层处理，然后统计池化层（如平均和标准差）生成固定长度的向量。 - 全连接层进一步处理，最后通过softmax分类。 4. **数学公式**：可能不需要复杂的公式，但需要描述网络结构，比如TDNN层的时延操作，池化层的聚合方法。 5. **关键技术细节**：数据增强（如加噪声、混响）、端到端训练、损失函数（如交叉熵、AM-Softmax）。 接下来，对比部分需要列出两者的优缺点和应用场景，比如i-vector对数据量需求大，x-vector在小数据下表现更好，但需要更多计算资源。 还要注意用户提到的系统级指令，比如所有行内数学表达式用$...$，独立公式单独成段，正确使用LaTeX语法，以及结构清晰的中文回答。 可能需要检查是否有遗漏的关键点，比如i-vector中的总变差空间与JFA的区别，x-vector中的结构细节如TDNN层的作用，以及实际应用中的性能比较。 在组织内容时，使用标题和子标题来分块，确保每个部分都有明确的重点，比如定义、核心思想、训练流程、数学公式、关键技术、应用和对比。 最后，总结两者的优缺点，帮助用户理解在不同场景下的选择依据。</think>--- ### **i-vector 与 x-vector 详解** #### **1. i-vector（身份向量）** ##### **1.1 基本定义** - **i-vector** 是一种固定长度的低维向量（通常$100$-$600$维），用于表示语音中的**说话人身份**和**信道信息**。它基于**总变差空间（Total Variability Space）**建模，将语音会话映射到该空间中的一个点。 ##### **1.2 核心思想** - 传统方法（如JFA）分别建模**说话人因子**和**信道因子**，而i-vector将其合并为一个统一的低维空间，简化模型。 - 公式表示： $$\boldsymbol{M} = \boldsymbol{m} + \boldsymbol{T} \boldsymbol{w}$$ 其中： - $\boldsymbol{M}$：自适应后的GMM均值超向量 - $\boldsymbol{m}$：UBM的均值超向量 - $\boldsymbol{T}$：总变差矩阵（低维投影矩阵） - $\boldsymbol{w}$：i-vector（低维身份向量） ##### **1.3 训练流程** **步骤1：UBM与Baum-Welch统计量** - 训练UBM（通用背景模型），提取每个语音段的**Baum-Welch统计量**： - 零阶统计量：$N_k = \sum_{t=1}^T \gamma_t(k)$ - 一阶统计量：$\boldsymbol{F}_k = \sum_{t=1}^T \gamma_t(k) \boldsymbol{x}_t$ 其中$\gamma_t(k)$为第$k$个高斯分量对帧$\boldsymbol{x}_t$的后验概率。 **步骤2：估计总变差矩阵$\boldsymbol{T}$** - 通过EM算法迭代优化$\boldsymbol{T}$，最大化所有语音数据的似然。 **步骤3：提取i-vector** - 对每条语音，计算其$\boldsymbol{w}$： $$\boldsymbol{w} = (\boldsymbol{I} + \boldsymbol{T}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{N} \boldsymbol{T})^{-1} \boldsymbol{T}^T \boldsymbol{\Sigma}^{-1} \boldsymbol{F}$$ 其中$\boldsymbol{N}$为对角矩阵，$\boldsymbol{\Sigma}$为UBM协方差矩阵。 ##### **1.4 关键技术细节** - **后处理**：使用**PLDA（概率线性判别分析）**去除信道影响，公式： $$\boldsymbol{w} = \boldsymbol{U} \boldsymbol{y} + \boldsymbol{\epsilon}$$ 其中$\boldsymbol{U}$为信道空间，$\boldsymbol{y}$为纯净说话人因子，$\boldsymbol{\epsilon}$为噪声。 - **长度归一化**：对i-vector进行L2归一化，提升余弦相似度计算的鲁棒性。 ##### **1.5 应用场景** - 说话人验证（如电话身份认证） - 语音聚类（如会议记录分割） --- #### **2. x-vector（深度嵌入向量）** ##### **2.1 基本定义** - **x-vector** 是基于深度神经网络（DNN）提取的固定维度的说话人嵌入向量（通常$512$维），直接通过端到端训练从语音中学习身份特征。 ##### **2.2 核心思想** - 利用**时延神经网络（TDNN）**处理帧级特征，通过**统计池化层**聚合时序信息，生成说话人级别的向量。 - 网络结构示例： ```plaintext 输入帧特征 → TDNN层（时延卷积） → 统计池化（均值/标准差） → 全连接层 → softmax分类 ``` ##### **2.3 训练流程** **步骤1：帧级特征处理** - 输入：帧级MFCC或FBank特征（如$40$维）。 - 经过多个TDNN层，捕获局部上下文信息（如前后$5$帧）。 **步骤2：统计池化** - 对TDNN输出计算**均值**和**标准差**，拼接成固定长度向量： $$\boldsymbol{h}_{\text{pool}} = [\mu_1, \sigma_1, \mu_2, \sigma_2, \dots]$$ **步骤3：全连接层与分类** - 池化后的向量通过全连接层映射到$x$-vector： $$\boldsymbol{x} = \text{FC}(\boldsymbol{h}_{\text{pool}})$$ - 使用softmax分类器优化说话人ID损失函数。 ##### **2.4 关键技术细节** - **数据增强**：添加噪声、混响等模拟真实环境。 - **损失函数**：改进的损失函数（如**AM-Softmax**、**AAM-Softmax**）增强类内紧致性。 - **端到端优化**：直接最小化说话人分类误差，无需手工设计特征。 ##### **2.5 应用场景** - 短语音说话人验证（如智能音箱唤醒） - 跨语言说话人识别 --- #### **3. i-vector 与 x-vector 对比** | 特性 | i-vector | x-vector | |---------------------|-----------------------------------|-----------------------------------| | **理论基础** | 因子分析（概率生成模型） | 深度学习（判别模型） | | **特征提取** | 依赖UBM和手工统计量 | 端到端自动学习 | | **数据需求** | 需大量无标签数据训练UBM | 需标注说话人数据 | | **计算复杂度** | 中等（EM迭代耗时） | 高（GPU训练，但推理快） | | **鲁棒性** | 对信道敏感，需PLDA后处理 | 对噪声和信道变化更鲁棒 | | **典型维度** | 100-600 | 512-1024 | --- #### **4. 数学示例** **i-vector的生成公式**： $$\boldsymbol{w} = \arg \max_{\boldsymbol{w}} \sum_{t=1}^T \sum_{k=1}^K \gamma_t(k) \log \mathcal{N}(\boldsymbol{x}_t | \boldsymbol{\mu}_k + \boldsymbol{T}_k \boldsymbol{w}, \boldsymbol{\Sigma}_k)$$ **x-vector的池化操作**： $$\mu_i = \frac{1}{T} \sum_{t=1}^T h_{i,t}, \quad \sigma_i = \sqrt{\frac{1}{T} \sum_{t=1}^T (h_{i,t} - \mu_i)^2}$$ --- #### **5. 优缺点总结** - **i-vector**： - 优点：理论清晰，适合无监督场景。 - 缺点：依赖UBM，对短语音敏感。 - **x-vector**： - 优点：端到端优化，长尾数据表现好。 - 缺点：需标注数据，训练成本高。 --- #### **6. 实际应用案例** - **i-vector**：银行电话客服的说话人验证系统。 - **x-vector**：智能家居设备的声纹解锁功能。 --- 以上为i-vector与x-vector的核心内容，如需进一步探讨实现细节或最新进展（如ECAPA-TDNN），请随时提问！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值