【个人学习笔记】语音表示学习：HuBERT模型

于 2025-03-12 11:51:07 发布
阅读量254 收藏
点赞数 1
分类专栏： 笔记 文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/JiaZai_kaka/article/details/146200064
版权

原参考资料是一个网站和一个B站UP主讲解的过程，作为详细学习了解 请移步。 

https://jonathanbgn.com/2021/10/30/hubert-visually-explained.html
https://www.bilibili.com/video/BV1QLUiYEEAk/?spm_id_from=333.337.search-card.all.click&vd_source=53c9cead2a67816bbbf7bb89cdad073e

下面记录个人的学习笔记。 

训练第一轮用MFCC，进行K-Means将每个聚类的中心点作为输出得到Hidden units embedding作为后续Back Propagation的Ground Truth；

训练从第二轮开始，从Context Network中间的某一层抽出一些Tokens作为K-Means聚类的输入（不再使用MFCC）

整体训练使用Cross-Entropy Loss来优化Transformer(Context Network)，过程如下：

chinese-hubert-large：腾讯GameMate的预训练语音模型 

动手训练粤语语音识别模型
08-09 765
在最后一步，我们定义了与训练相关的所有参数。在这里，我们将训练步数设置为100。这足够多的步数，可以与预训练的Whisper模型相比看到很大的词错误率（WER）改进。更多参数说明，参阅：https://huggingface.co/docs/transformers/main_classes/trainer#transformers.Seq2SeqTrainingArgumentsoutput_dir="./whisper-tiny-zh-HK", # 模型上传到HF Hub的名称。
【场景应用9】多语言预训练语音模型进行自动语音识别
最新发布
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
04-16 261
多语言语音模型是一种用多种语言的语音数据联合预训练的模型，它可以提取语言无关的语音特征，从而适用于多种语言的 ASR 任务，而不必为每种语言单独训练一个模型。（Facebook）（OpenAI）（Facebook）（Meta，支持翻译 + 识别）
Wav2Vec & HuBert &WavLM 自监督语音大模型
热门推荐
林宋的搬砖流水账
01-16 1万+
自监督预训练语言模型，wav2vec, wav2vec2.0，HUBert
Facebook AI 发布“HuBERT”：一种学习自我监督语音表示的新方法
lyfwx的博客
06-24 2715
许多人工智能研究项目一直在努力提高他们仅仅通过倾听和与他人互动来检测和解释语音的能力，就像婴儿学习他们的第一语言一样。这不仅需要评估某人所说的话，还需要从这些话的表达方式中获得各种其他线索，例如说话人识别、情绪、犹豫和打断。此外，人工智能系统必须识别和解释与语音信号重叠的噪音，例如笑声、咳嗽、背景车辆或鸟鸣，才能像人一样完全理解情况。 因此，Facebook AI 发布了 HuBERT，这是一种学习自监督语音表示的新方法，以帮助对音频中这些类型的丰富词汇和非词汇信息进行建模。用于语音表示学习的 HuBER
语音识别预训练模型Hidden-Unit BERT (HuBERT)
zephyr_wang的博客
11-18 8733
语音识别预训练模型Hidden-Unit BERT (HuBERT)
HuBERT: 自监督语音表示学习项目解析
gitblog_07561的博客
09-13 734
HuBERT: 自监督语音表示学习项目解析 hubert HuBERT content encoders for: A Comparison of Discrete and Soft Speech Units for Improved Voice Conversion ...
探秘HuBERT：实现无缝语音转换的利器
gitblog_00020的博客
06-09 1586
探秘HuBERT：实现无缝语音转换的利器 项目地址:https://gitcode.com/gh_mirrors/hu/hubert 在语音处理领域，HuBERT（HarmoNious Unsupervised Representation Learning for Speech）是一个备受关注的开源项目。它以其高效无监督的学习方式和出色的性能，为语音识别和转化带来了全新的可能性。本文将带你深入了...
找不到中文语音预训练模型？中文版 Wav2vec 2.0和HuBERT来了，腾讯游戏和西工大联合出品...
zandaoguang的博客
06-02 1133
视学算法专栏作者：腾讯游戏知几AI团队，西北工业大学音频、语音与语言处理研究组（ASLP@NPU）近日，腾讯游戏知几AI团队与西工大ASLP组联合发布了基于 WenetSpeech 1 万小时数据训练的中文版 Wav2vec 2.0 和 HuBERT 模型。Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的...
声纹识别：自监督学习语音识别利于声纹识别Why does Self-Supervised Learning for Speech Recognition Benefit Speaker Recogni
低调奋进
04-28 1935
声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。开源语音数据查询http://yqli.tech/page/data.html。如何查找语音资料请参考文章https://mp.weixi.
VALLE：Neural Codec Language Models areZero-Shot Text to Speech Synthesizers---TTS论文阅读
pied_piperG的博客
01-25 2144
由于训练数据相对较少，现有TTS系统在泛化能力上仍有不足，特别是在零样本（未见过的说话者）场景下，说话者相似性和语音自然性会大幅下降。，从而降低了处理的复杂性和计算量，同时使模型能够有效地学习如何从一个小的、已知的声音样本（声学提示）中生成新的说话者的声音。这样的系统设计使得零样本TTS成为可能，即使是对于那些在训练数据中从未出现过的说话者，系统也能合成相似的声音。：之前的TTS预训练工作利用的数据不足1千小时，而VALL-E使用了60千小时的数据预训练。同时，基于说话者编码的方法近年来也取得了很大进展。
动手训练音乐风格分类模型
08-09 231
模型将为我们定义的**每个标签返回一个分类概率。
【GPT-SOVITS-06】特征工程-HuBert原理
Fred's Note
03-17 5097
GPT-SOVITS 源码解析
HuBERT：通过隐藏单元掩码预测进行自监督语音表示学习
Together_CZ的博客
12-29 1291
HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units HuBERT：通过隐藏单元掩码预测进行自监督语音表示学习
HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units
weixin_45259560的博客
12-30 4510
HuBERT翻译
语音基石模型Speech Foundation Models
Barbara‘s Blog
07-23 3373
语音自监督学习模型。
探索语音克隆的新境界：Bark-voice-cloning-HuBERT-quantizer
gitblog_00096的博客
04-26 592
探索语音克隆的新境界：Bark-voice-cloning-HuBERT-quantizer bark-voice-cloning-HuBERT-quantizerThe code for the bark-voicecloning model. Training and inference.项目地址:https://gitcode.com/gh_mirrors/ba/bark-voice-cl...
中文语音预训练模型：Wav2vec 2.0、HuBERT
u013250861的博客
06-16 5444
腾讯游戏知几AI团队与西工大ASLP组联合发布了基于 WenetSpeech 1 万小时数据训练的中文版 Wav2vec 2.0 和 HuBERT 模型。Wav2vec 2.0 [1]，HuBERT [2] 和 WavLM [3] 等语音预训练模型，通过在多达上万小时的无标注语音数据（如 Libri-light ）上的自监督学习，显著提升了自动语音识别（Automatic Speech Recognition, ASR），语音合成（Text-to-speech, TTS）和语音转换（Voice Conver
聚类有效性检验（Hubert'Γ ）
tyh70537的博客
08-06 7910
问题的提出假设现在有N个样本需要聚类，根据某个聚类算法我们把这N个样本聚为K个簇，现在问题是怎么确定现在的聚类结果是有意义的，而不是仅仅通过随机得到的。下面我们将构造Hubert’Γ 统计量，通过假设检验的方法来解决这一问题。以下内容大部分出至Jain和Dubes的聚类教程《Algorithms for Clustering Data》。部分理解可能有误，欢迎指出错误。所需用到的定义在具体论述之前，
Python领域贡献者：Hubert Kozubek与Przemysław Michalczewski
这可能表示该文件与这两个人物有关。由于没有更多的上下文信息，我们不能准确地判断这个标题指向的具体内容是什么。 描述中的内容表明，标题所关联的可能是一张图片，图片中包含两个人物的名字。图片可能是某种视觉...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值