基于Pyannote的中文声纹识别

已于 2024-02-06 18:26:00 修改
阅读量4.1k 收藏 42
点赞数 25
分类专栏： 语音识别 文章标签： 语音识别 人工智能
于 2024-01-31 18:08:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mr_lio/article/details/135959266
版权

声纹识别是一种生物识别技术，也称为speaker recognization，其中主要包含语音分割以及声纹相似度对比。该技术通过将声信号转换成电信号，再使用人工智能技术进行识别，不同的任务和应用会使用不同的声纹识别技术，例如会议纪要、图文转播、刑案侦察等。

环境准备

pyannote-audio是，github地址为https://github.com/pyannote/pyannote-audio

我使用的是pyannote-audio 3.1.0 + wespeaker-voxceleb-resnet34-LM + segmentation-3.0

项目是一直在持续更新的，要根据自己的实际情况选择正确的模型和环境

其中依赖包要求如下：

asteroid-filterbanks >=0.4
einops >=0.6.0
huggingface_hub >= 0.13.0
lightning >= 2.0.1
omegaconf >=2.1,<3.0
pyannote.core >= 5.0.0
pyannote.database >= 5.0.1
pyannote.metrics >= 3.2
pyannote.pipeline >= 3.0.1
pytorch_metric_learning >= 2.1.0
rich >= 12.0.0
semver >= 3.0.0
soundfile >= 0.12.1
speechbrain >= 0.5.14
tensorboardX >= 2.6
torch >= 2.0.0
torch_audiomentations >= 0.11.0
torchaudio >= 2.0.0
torchmetrics >= 0.11.0

我使用的是python 3.8，在环境准备时，其实我只执行下面一个命令

# 其他依赖会自动下载
pip install pyannote.audio==3.1.0

语音数据准备

日常需要分析的语音往往是将视频中的，且语音模型都对其输入有一定的数据要求，例如采样率为16000，单声道等。

视频是在Youtube上下载的小猪佩奇第一季第九集

使用ffmpeg工具将视频文件中语音提取、加工

# 将音频提取出来，指定采样率为16000，单声道
ffmpeg -y -i demo.mp4 -vn -ss 00:00:00 -t 300 -ar 16000 -ac 1 -f wav audio_all.wav

# 提取一段小猪佩奇的声音，时长为5秒
ffmpeg -y -i demo.mp4 -vn -ss 00:00:02 -t 5 -ar 16000 -ac 1 -f wav audio_peppa_1.wav
# 再次提取一段小猪佩奇的声音，时长为5秒
ffmpeg -y -i demo.mp4 -vn -ss 00:00:07 -t 3 -ar 16000 -ac 1 -f wav audio_peppa_2.wav

# 提取一段旁白的声音，时长为3秒
ffmpeg -y -i p_1_9.mp4 -vn -ss 00:00:23 -t 3 -ar 16000 -ac 1 -f wav audio_aside

在这里插入图片描述
若服务器上未安装ffmpeg，可通过以下命令获取

# ubuntu
sudo apt install ffmpeg
# centos
sudo yum install ffmpeg

Embedding

将语音文件进行向量化，转换为1x1xD的向量，然后使用计算distance的方式描述不同语音之间的相似度（声纹），以此来识别说话人。

from pyannote.audio import Model
# 初始化模型
model = Model.from_pretrained("pyannote/wespeaker-voxceleb-resnet34-LM")

from pyannote.audio import Inference
# 使用模型将语音文件转换为一个array
inference = Inference(model, window="whole")
embedding_1 = inference("audio_peppa_1.wav")
embedding_2 = inference("audio_peppa_2.wav")
embedding_3 = inference("audio_aside.wav")

from scipy.spatial.distance import cdist
# 获取相似度
distance_sim = cdist(embedding_1 , embedding_2 , metric="cosine")[0,0]
distance_not = cdist(embedding_1 , embedding_3 , metric="cosine")[0,0]

print("Distance audio_peppa_1 between audio_peppa_2: " + str(distance1))
print("Distance audio_peppa_1 between audio_aside: " + str(distance2))

将多种语音的对比结果如下，可以明显看出，不同声音的声纹差距较大
在这里插入图片描述
pyannote中内置了将distance转换为similarity的方式，通过阈值（默认为0.25）直接判断是否为同一个speaker

Segmentation

以上的声纹对比是我们在听过语音以后手动将语音分割成多个wav文件，再将每个语音文件进行对比。

实际应用中，一个语音存在多人对话、同时说话以及语音静默等情况，就要使用另外一个模型将一个长语音分割为多个segmentation。
多人对话时的场景
此处使用segmentation-3.0进行语音的处理，注意该模型仅适配pyannote.audio 3.0以上的版本。

检测语音文件中active和overlapped的speech region，需要设置有效和无效的最小时长。

from pyannote.audio import Model
# 初始化模型
model = Model.from_pretrained("/home/pyannote-audio/tools/segmentation/pytorch_model.bin")

# 语音活动检测
from pyannote.audio.pipelines import VoiceActivityDetection
pipeline = VoiceActivityDetection(segmentation=model)

# 语音重叠检测
# from pyannote.audio.pipelines import OverlappedSpeechDetection
# pipeline = OverlappedSpeechDetection(segmentation=model)

# 设置参数
HYPER_PARAMETERS = {
  # remove speech regions shorter than that many seconds.
  "min_duration_on": 0.0,
  # fill non-speech regions shorter than that many seconds.
  "min_duration_off": 0.0
}
pipeline.instantiate(HYPER_PARAMETERS)
# 语音活动检测
vad = pipeline("audio_all.wav")
# 语音重叠检测
# osd = pipeline("audio_all.wav")

语音活动检测
语音重叠检测

此处可以看到我再调用模型时不再使用从huggingface上拉取，而是手动下载本地目录后再调用，方便管理，对于不能直接使用huggingface的同学也可以采用这种方法。
在这里插入图片描述

Diarization

结合以上两种方式，最终实现声纹识别即speaker recognization，该部分需要同时使用以上两种模型，代码示例如下

from pyannote.audio import Pipeline
# 读取配置文件
pipeline = Pipeline.from_pretrained("config.yaml")

# 使用GPU，没有的可以注释掉以下2行
import torch
pipeline.to(torch.device("cuda"))

# 声纹识别
diarization = pipeline("audio_all.wav")

# 输出结果
for turn, _, speaker in diarization.itertracks(yield_label=True):
    print(f"start={turn.start:.1f}s stop={turn.end:.1f}s speaker_{speaker}")

其中配置文件其实就是以上2个模型的相关信息，详细如下：

version: 3.1.0

pipeline:
  name: pyannote.audio.pipelines.SpeakerDiarization
  params:
    clustering: AgglomerativeClustering
    embedding: /home/pyannote-audio/tools/embedding/pytorch_model.bin
    embedding_batch_size: 32
    embedding_exclude_overlap: true
    segmentation: /home/pyannote-audio/tools/segmentation/pytorch_model.bin
    segmentation_batch_size: 32

params:
  clustering:
    method: centroid
    min_cluster_size: 12
    threshold: 0.7045654963945799
  segmentation:
    min_duration_off: 0.0

运行效果如下所示，可以看出来整体效果还是非常好的。
在这里插入图片描述

总结

以上做的一些目前都只是一些基于声纹识别的小实验，首先模型配置没有限制导致分割的segmentation还是偏多，离真正的实现日常工具化、商业化还需要一些调整，另外官方本身也提供模型微调训练的demo，感兴趣的可以去看一下。

下一篇文章，博主计划将语音识别和声纹识别结合，能够实现一个能够独立完成图文转播的完整工具。

参考链接

https://github.com/pyannote/pyannote-audio/tree/3.1.0

https://huggingface.co/pyannote/segmentation-3.0

https://huggingface.co/pyannote/wespeaker-voxceleb-resnet34-LM

pyannote/wespeaker-voxceleb-resnet34-LM · Hugging Face

python声纹识别_声纹识别算法、资源与应用（二）
weixin_39593460的博客
12-08 1303
《声纹识别·资源篇》1. Kaldi最流行的语音技术研究平台，没有之一。代码运行鲁棒性强、架构良好，便于算法修改、定制。如果你是高校科研人员，工程实现能力有限，那么没关系，你只要懂点Shell、Python或Perl脚本，即可顺利开展实验。如果你是工业界人士，完全可直接拿来商用，KALDI遵循Apache licence。如果你是自由开发者，完全可以基于KALDI做一些开发，为企业提供语音服务。表...
python声纹识别_声纹识别（说话人识别）
weixin_39662611的博客
12-08 8499
声纹识别声纹识别，生物识别技术的一种，也称为说话人识别，有两类，即说话人辨认和说话人确认。声纹识别的理论基础是每一个声音都具有独特的特征，通过该特征能将不同人的声音进行有效的区分。声音特征1、语音的特殊性。发音器官分为声门上系统、喉系统、声门下系统，每个人都有自己的一套发音器官，它们的形态、构造各有差别，每次发音需要众多发音器官相互配合、共同运动。这决定了语音的物理属性(也称语音四要素)：音质、音...
**深度语音处理库：PyAnnote-Audio**
gitblog_07495的博客
09-13 631
深度语音处理库：PyAnnote-Audio pyannote-audio 项目地址: https://gitcode.com/gh_mirrors/py/pyannote-audio ...
使用语音识别+声纹识别实现智能会议记录
alpha-soso的博客
02-02 4549
在基本功能实现方面，我们已经取得了不错的进展。在准确率方面，我们也进行了一些测试。大部分情况下，声纹识别的准确率是可以接受的。语气词，例如“啊”、“哈哈”等。小孩子说话。说话人非常多的对话场景。为了提高识别准确率，大家可以在Hugging Face上寻找针对中文训练效果更好的模型。这些模型可能对于特定的语音特征有更好的识别能力。结合声纹识别与语音识别，我们可以更准确地分析和记录会议内容，为后续的数据处理和分析提供坚实基础。希望这次的技术分享能对大家有所帮助，也欢迎大家在评论区交流心得和经验。
使用 Python 实现声纹和声音识别并集成到会议记录程序中
最新发布
huanghm88的专栏
02-26 548
需要安装一些 Python 库，如。
使用pyannote.audio进行语音分离和说话人识别
Michael是个半路程序员
03-16 5365
将一段音频中多人说的话分离出来
Python实现说话人识别(声纹识别)算法
毕业作品网站
09-07 5043
说话人识别，又称声纹识别。从上世纪60年代开始到现在，声纹识别一直是生物识别技术研究的主题。从传统的基于模板匹配的方法，到早期基于统计学方法，直到基于深度学习的声纹识别技术成为主流。本项目给出一个从传统（基于GMM、GMM-UBM、GMM-SVM[3]、联合因子分析、i-vector的方法），到基于深度学习的声纹识别方法的实现。
基于Pytorch实现的声纹识别系统
夜雨飘零
08-20 6722
本项目使用了EcapaTdnn、ResNetSE、ERes2Net、CAM++等多种先进的声纹识别模型，不排除以后会支持更多模型，同时本项目也支持了MelSpectrogram、Spectrogram、MFCC、Fbank等多种数据预处理方法，使用了ArcFace Loss，ArcFace loss：Additive Angular Margin Loss（加性角度间隔损失函数），对应项目中的AAMLoss，对特征向量和权重归一化，对θ加上角度间隔m，角度间隔比余弦间隔在对角度的影响更加直接，除此之外，还支
python基于端到端的声纹识别系统源码.zip
05-31
基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码基于端到端的声纹识别系统源码
声纹识别知识整理
热门推荐
James_bobo的博客
11-21 1万+
一、算法总览 1. 最早的GMM-UBM i-vector 利用GMM高斯混合模型提取特征i-vector；克服训练数据不多的情况，引入UBM；将语音分为说话人空间和环境空间，解决环境带来的信道，PLDA实现信道补偿，将提取的i-vector更加纯粹。 当然，获取i-vector的方法不仅仅局限在高斯混合模型，利用一起其它的机器学习方法进行补充一样可以，甚至是DNN提取的特征。 2. DNN DN...
声纹识别
smith24122412的专栏
12-05 1771
推荐文章  https://zhuanlan.zhihu.com/p/37591667 老铁你这个数据集怎么下的呀，我在官方网址上下不下来（用迅雷离线下载都不行） 李稀敏 (作者) 回复  要翻墙 李稀敏 ： 《声纹识别·资源篇》 1. Kaldi     最流行的语音技术研究平台，没有之一。代码运行鲁棒性强、架构良好，便于算法修改、定制。 如果你是高校科研人员，工...
python实现说话人识别实验与开发
01-11
Auto Speaker Recognition main.py the main file for test audio_record.py record audio from micro phone count_days.py count days between two date. 20110805 20160903 mfcc_feature.py extract mfcc feature from wav files SGD.model* the trained model on train set , and the accurate is 70% util.py contains the most useful functions train train data is 75% of all the data test test data is 25% of all the data and has no overlap with train set classification_SGD.py is the main classification function py file , and it used the sklearn's SGD niter was set 10000 could get 70% of accurate. classification_BNB.py this is the sklern naive_bayes BernoulliNB , and it reach to just 56% classification_DT.py this is the sklern tree.DecisionTreeClassifier , and it reach to just 63% classification_GB.py this is the sklern GradientBoostingClassifier, and it reach to the best now of 76% when n_estimators=1000, but it produce too many model components to store. classification_GNB.py this is the sklern naive_bayes GaussianNB, and it reach to just 63% vote_result.py add a vote decsion , every method have the acurrcy number ticiks to vote the final answer. after the vote , we achived 96% at test set. beta1.0
基于Keras+python实现的声纹识别系统完整源码(可训练和测试)+带数据集+训练好的模型+项目说明.7z
12-14
基于Keras+python实现的声纹识别系统完整源码(可训练和测试)+带数据集+训练好的模型+项目说明.7z 【项目】基于深度学习的声纹识别 【主要功能】 通过声音识别人物 实现原理（流程）： 音频 → 提取语音特征（FFT、Mel过滤、MFCC）→ CNN&GRU → Triplet loss损失函数训练 + 预训练 + 训练得结果 【特别强调】 1、csdn上资源保证是完整最新，会不定期更新优化； 2、请用自己的账号在csdn官网下载，若通过第三方代下，博主不对您下载的资源作任何保证，且不提供任何形式的技术支持和答疑！！！
基于Python+Tensorflow实现声纹识别+源代码+文档说明
01-12
基于Python+Tensorflow实现声纹识别+源代码+文档说明 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
Python基于声纹识别的反诈系统源码.zip
05-23
Python基于声纹识别的反诈系统源码.zip
声纹技术（五）：声纹分割聚类技术
u013250861的博客
06-24 2240
声纹分割聚类（speaker diarization）是声纹领域里仅次于声纹识别的第二大课题，其难度远大于声纹识别。声纹识别所解决的问题可以简单概括为——“这是谁说的”，而这其中便包含了一个假设，那就是已知待识别的语音中，有且仅有一个说话人的声音。而在声纹分割聚类问题中，我们却推翻了这个假设，也就是说，一段语音中可以包含多个说话人交替说话的声音。因此，声纹分割聚类所解决的问题可以概括为——“谁在什么时间说的”（who spoke when）。英文中diarization 一词，来源于单词diary，也就是日
语音处理——Pyannote使用学习
Blackoutdragon的博客
02-20 4744
* 在进行AD检测的模型中，原来使用的是whisper进行的语音转换，但是whisper只能实现ASR任务，并不能检测出不同说话者，所以需要学习一下SpeechBrain，实现说话者检测和情绪分类等不同的语音任务，以进一步完善当前的任务。 * 这里发现SpeechBrain实现起来比较费劲，自由度比较高，并不能拿来直接用。后来还是换成了pyannote，但是这中间也经过了很多异常情况。这里写一篇文章，记录一下整体过程。 * 出现这么多问题，是因为我的开发ide，pycharm并不能正常地科学上网，即使本地
用python写一个声纹识别模块
weixin_35756130的博客
02-03 1437
声纹识别是生物识别领域中的一种方法，用于识别人的语音特征。为了实现声纹识别，您需要编写代码来收集语音数据，提取特征，并使用机器学习模型进行识别。 以下是一种使用 Python 实现声纹识别的简单方法： 收集语音数据：可以使用麦克风记录人的语音，并将其保存为音频文件。 提取特征：您可以使用 Python 库如 Librosa 进行语音特征提取，例如，提取频谱图、基音频率、说话速度等。 训练模型...
pyannote树莓派
02-19
### 安装和配置 Pyannote on 树莓派 为了在树莓派上成功安装并使用Pyannote，需要完成几个关键步骤。这些步骤涉及设置必要的依赖项以及具体安装过程。 #### 准备工作环境 由于运行特定软件包通常需要Java环境支持，在开始之前确认已经安装了JRE[^1]： ```bash sudo apt update && sudo apt install default-jre -y ``` 接着，考虑到Pyannote是一个基于Python的库，确保已更新到最新版pip工具，并安装虚拟环境来管理项目依赖关系： ```bash sudo pip3 install --upgrade pip virtualenv virtualenv venv source venv/bin/activate ``` #### 安装 Pyannote 及其依赖项 一旦准备工作完成后，就可以着手于安装Pyannote本身及其所需的额外组件。对于某些模型来说，可能还需要安装CUDA驱动程序以便利用GPU加速；然而，鉴于树莓派并不具备NVIDIA GPU硬件，因此这里只需关注CPU版本的支持即可。 通过pip可以直接安装Pyannote Audio: ```bash pip install pyannote-audio ``` 值得注意的是，部分功能模块可能会依赖OpenCV等视觉处理库。如果打算应用此类特性，则应提前按照指导说明安装好对应的库文件[^2]: ```bash pip install opencv-python-headless ``` #### 使用 Pyannote 进行音频分析 有了上述准备之后，现在可以在本地环境中加载预训练好的模型来进行简单的语音活动检测(SAD)，说话人日记化(Diarization)或其他任务。下面给出一段用于执行说话人分割的小例子： ```python from pyannote.audio import Pipeline pipeline = Pipeline.from_pretrained("pyannote/speaker-diarization") diarization = pipeline("/path/to/audio.wav") for turn, _, speaker in diarization.itertracks(yield_label=True): print(f"Speaker {speaker}: from {turn.start:.1f}s to {turn.end:.1f}s") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值