机器学习笔记 - 基于预训练的音频Transformers进行音乐风格分类

最新推荐文章于 2025-05-21 15:56:29 发布
最新推荐文章于 2025-05-21 15:56:29 发布
阅读量841 收藏 2
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 深度学习 神经网络 音视频 音乐分类 huggingface Transformers
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/135158336
本文介绍如何使用预训练的音频Transformer模型，特别是HuBERT，进行音乐风格分类。通过微调模型，处理音频数据，最终实现对音乐流派的准确分类。讨论了音频数据特点、Transformer模型原理及数据预处理步骤，并分享了训练过程和结果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、简述

        在过去几年中，深度学习为许多行业的图像和文本数据相关任务带来革命性的解决方案。但除了深入探索的自然语言处理和计算机视觉领域之外，深度学习还使我们能够以多种方式探索音频数据。

        音频分类与典型机器学习项目中的其他分类任务没有太大区别，其中必须将一个或多个标签分配给数据集中的特定样本。在音频处理中，分类任务可能基于识别音频录音中所说的语言，或检测“嘿 Siri”等关键词以与手机中的个人助理开始对话。

        在这里我们使用预先训练的音频转换器执行音频分类任务的过程。我们将微调 Transformer 模型来进行音乐流派分类，其中我们的模型接受音频作为输入，并将其标记为流行或摇滚等风格。

        此类任务在一些流媒体平台中非常常见，用于推荐与用户当前正在收听的歌曲相似的歌曲。

二、音频数据的特点

        声波的问题在于，它们是随着时间的推移由无限多个值组成的连续信号，这使得数字设备难以处理和存储它们。为了使用它们，声波同样要用数字表

了解本专栏 订阅专栏 解锁全文
基于Transformer的语音识别与音频分类
08-04 775
例如，如果我们的预测序列是 B_R_II_O_N_||S_AWW|||||S_OMEE_TH_ING||_C_L_O_S_E||TO|P_A_N_I_C||_ON||HHI_S||OP_P_O_N_EN_T’SS||_F_AA_C_E||W_H_EN||THE||M_A_NN||||_F_I_N_AL_LL_Y||||_RREE_C_O_GG_NN_II_Z_ED|||HHISS|||_ER_RRR_ORR||||我们知道语音和文本的顺序是相同的（对齐是单调的），但我们不知道文本中的字符如何与音频对齐。
使用VIT进行音频分类：实现从音频到视频的转换
ByteProwl的博客
10-04 250
但是，由于其出色的性能和可扩展性，研究人员开始将其应用于计算机视觉中的各种任务，如图像分类、目标检测和分割等。它通过将图像划分为一系列的图像块，并将这些图像块转换为序列，然后使用Transformer模型对序列进行处理。音频分类是一项重要的任务，可以帮助我们对音频数据进行有效的组织和分析。本文介绍了如何使用VIT模型进行音频分类。我们通过将音频数据转换为图像数据，并使用VIT模型对图像数据进行分类，实现了从音频到视频的转换。通过将音频转换为频谱图，并使用VIT模型进行分类，我们可以实现从音频到视频的转换。
Transformer——Q106 推导音频Transformer的频谱图位置编码公式
最新发布
墨顿随笔
05-21 815
音频 Transformer 的频谱图位置编码通过对时间和频率维度分别采用正弦余弦编码后叠加，为模型提供了二维位置信息。其数学原理基于正弦余弦函数的周期性和对位置关系的有效表示，因果逻辑清晰 —— 因音频频谱图的二维特性，故需分别编码时间和频率，再合成完整位置信息。尽管固定编码存在对复杂音频模式适应性差和计算量高的缺点，但通过可学习编码、稀疏编码等策略可优化。在语音识别、音频生成等实际任务中，合理的位置编码能显著增强模型对音频信号的理解。
Transformer-Transducer语音识别
05-20
复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme复现成功且有重写readme
《AST: Audio Spectrogram Transformer》论文
qq_46079584的博客
01-15 2206
这篇论文的作者是Yuan Gong, Yu-An Chung, James Glass ，MIT Computer Science and Artifificial Intelligence Laboratory, Cambridge, MA 02139, USA 研究动机 为了做音频分类任务，在CNN的基础上加了注意力机制，如果注意力机制有用，那么可不可以只使用注意力机制就可以获得好的效果？因为CNN并不是必要的。 INTRODUCTION 为了做音频分类任务，提出了AST（audio Spec
【Transformer论文】CMKD：用于音频分类的基于 CNN/Transformer 的跨模型知识蒸馏
qq_43058281的博客
10-26 3234
多模态
机器学习笔记 - 什么是向量嵌入？及向量嵌入​在机器学习中的使用
学以致用 知行合一
08-12 687
权重的优化方式是，与具有不同标签的图像相比，具有相同标签的图像嵌入得更近。现在，给定一个新的未见过的图像，我们可以使用 CNN 模型对其进行转换，检索其 k 个最相似的向量，从而检索相应的相似图像。在推荐任务中，当对未见过的对象进行推荐时，推荐系统会寻找与所讨论的对象最相似的对象，通过它们与向量嵌入的相似性来衡量。换句话说，当我们将现实世界的对象和概念（例如图像、录音、新闻文章、用户配置文件、天气模式和观点）表示为向量嵌入时，这些对象和概念的语义相似性可以通过接近程度来量化它们彼此作为向量空间中的点。
动手训练音乐风格分类模型
08-09 258
模型将为我们定义的**每个标签返回一个分类概率。
大模型学习笔记------什么是大模型
gz7seven
10-31 1450
本文主要介绍大模型的发展历程、特点、应用领域、面临的挑战等
论文笔记《TAG-DTA:Binding-region-guidedstrategytopredictdrug-target affinity using transformers》
weixin_46042619的博客
04-09 1127
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
transformer 系列语音识别
东方佑
05-17 1953
https://github.com/ZhengkunTian/OpenTransformer.git https://github.com/zyascend/End-to-End-Speech-Recognition-Learning.git
使用机器学习算法自动进行音乐流派分类，例如逻辑回归和 K-最近邻_python_代码_下载
06-16
音频流派分类 使用机器学习算法自动进行音乐流派分类，例如逻辑回归和 K-最近邻 使用语言： Python 2.7 此存储库包含根据以下流派对音乐进行分类的开发代码： 蓝调 古典（西方） 国家 迪斯科 金属 流行音乐 数据集 用于训练模型的数据集是 GTZAN 数据集。数据集简介： 该数据集用于 G. Tzanetakis 和 P. Cook 在 2002 年 IEEE Transactions on Audio and Speech Processing 中的流派分类“音频信号的音乐流派分类”中的著名论文。 该数据集由每 30 秒长的 1000 个音轨组成。它包含 10 个流派，每个流派由 100 首曲目表示。曲目均为 .wav 格式的 22050Hz 单声道 16 位音频文件。 官方网页：marsyas.info 下载大小：约1.2GB 下载链接：下载 GTZAN 流派合集
不同背景噪声 (Background Noises): 使用各种噪声和语音作为背景输入，增加模型的鲁棒性。
AI天才研究院
08-20 826
作者：禅与计算机程序设计艺术 1.简介 不同背景噪声 (Background Noises) 是机器学习领域中的一个重要研究热点，它使得机器学习模型在处理复杂的数据集时不易发生过拟合现象，提升其泛化能力。一般来说，不同的背景噪声包括环境噪声、信号噪声、光源噪声等多种类型。通过引入不同的背景噪声，可以帮助
[深度学习概念]·深度学习Transformer模型介绍
热门推荐
简明AI工作室
01-18 1万+
深度学习Transformer模型介绍 转载地址 目录 深度学习Transformer模型介绍 CNN RNN 核心问题 Transformer结构 亮点 self-Attention MultiHead Attention position Encoding 总结一下 动机 常见的seq2seq问...
基于Transformer的高效、低延时、流式语音识别模型
喜欢打酱油的老鸟
05-02 2434
从场景上，语音识别可以分为流式语音识别和非流式语音识别。非流式语音识别（离线识别）是指模型在用户说完一句话或一段话之后再进行识别，而流式语音识别则是指模型在用户还在说话的时候便同步进行语音识别。流式语音识别因为其延时低的特点，在工业界中有着广泛的应用，例如听写转录等。 Transformer流式语音识别挑战 目前，Transformer 模型虽然在离线场景下可以进行准确的语音识别，但在流式语音识别中却遭遇了两个致命的问题： 1）计算复杂度和内存储存开销会随着语音时长的增加而变大。 由于 Transf
语音中的 Transformer一文打尽！
BAAIBeijing的博客
01-29 1万+
写在前面——自 2017 年 Transformer 技术出现以来，便在 NLP、CV、语音、生物、化学等领域引起了诸多进展。知源月旦团队期望通过“Transformer+X” 梳理清 ...
【机器学习】李宏毅——Transformer
FavoriteStar的博客
09-17 3451
本文详细地介绍了Transformer算法，介绍了其内部重要的Encoder和Decoder，以及具体的实现过程和原理，还介绍了其训练过程以及训练过程中应该注意的种种问题。
音频Transformer架构
qq_45951706的博客
08-23 1493
Whisper会将音频分成数个30秒的片段，每个片段的对数梅尔频谱图的形状为(80, 3000)，其中80是梅尔频率的数量，3000是序列的长度。通过将音频转换为对数梅尔频谱图，我们不仅减少了输入数据的数量，而且更重要的是，转换后的序列长度远远小于波形的长度。该输出预测的是词汇表中文本标记的概率。在ASR、TTS等音频任务中，我们可以改变模型中的部分输入层来将数据转换为嵌入向量序列，也可以改变一部分输出层来将生成的嵌入向量序列转化为输出格式，而Transformer的主体部分保持不变。
【飞桨PaddleSpeech语音技术课程】— 语音识别-Transformer
小湉湉的博客
10-28 2681
【飞桨PaddleSpeech语音技术课程】— 语音识别-Transformer
aigc全家桶学习笔记
03-08
### 关于AIGC生成式AI技术学习资源 #### AIGC核心技术概述 AIGC即利用人工智能自动生成内容的生产方式，在生成式AI模型、训练数据等基础上能够生成文本、图片、音频、视频、代码等多种形式的内容[^1]。其核心在于通过算法和技术手段实现自动化创作过程。 #### 主要涉及的技术领域 - **自然语言处理(NLP)**：用于理解和生成人类语言，包括但不限于机器翻译、对话系统构建等方面的应用。 - **计算机视觉(CV)**：专注于图像识别与合成，可应用于艺术风格迁移、虚拟场景创建等领域。 - **语音信号处理**：涵盖从声音到文字转换以及反之亦然的功能开发，比如智能客服中的语音交互设计。 - **多模态融合**：结合多种感知渠道的信息输入来增强输出效果的真实性与多样性[^2]。 #### 推荐的学习路径及工具书目 为了更好地掌握这些技能并深入研究该主题： - 开始阶段可以先熟悉Python编程基础及其常用库如TensorFlow或PyTorch； - 阅读书籍《Deep Learning with Python》有助于打下坚实的理论根基； - 参加在线课程平台Coursera上由吴恩达教授开设的相关专项课系列； - 实践项目方面可以选择Kaggle竞赛作为练习场，积累实战经验的同时也能与其他爱好者交流心得。 ```python import tensorflow as tf from transformers import TFAutoModelForSequenceClassification, AutoTokenizer model_name = 'distilbert-base-uncased-finetuned-sst-2-english' tokenizer = AutoTokenizer.from_pretrained(model_name) model = TFAutoModelForSequenceClassification.from_pretrained(model_name) def predict_sentiment(text): inputs = tokenizer.encode_plus( text, add_special_tokens=True, return_tensors='tf', max_length=512, padding='max_length', truncation=True ) outputs = model(inputs['input_ids'], attention_mask=inputs['attention_mask']) prediction = tf.argmax(outputs.logits, axis=-1).numpy()[0] sentiment_map = {0: "Negative", 1: "Positive"} return sentiment_map[prediction] ``` 此段代码展示了如何使用预训练的语言模型来进行简单的情感分析任务，这对于理解NLP在AIGC中的作用非常有帮助[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值