从0开始训练基于自己声音的AI大模型（基于开源项目so-vits-svc）

已于 2025-03-31 10:35:07 修改
阅读量3.5k 收藏 43
点赞数 32
分类专栏： python AI 文章标签： 开源 人工智能 机器学习
于 2024-09-03 15:04:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u010046615/article/details/141821564
版权

写在前面：

本文所使用的技术栈仅为：Python

其他操作基于阿里云全套的可视化平台，只需要熟悉常规的计算机技术即可。

目录

Step 1:注册及登录阿里云主机

Step 2:找到大模型项目

Step 3:创建大模型环境实例

Step 4:进入Ai_singer教程

Step 5:环境及预训练模型下载

Step 6:训练数据准备

Step 7:数据预处理和切分配置

Step 8：生成音频特征数据

Step 9:训练

Step 10：推理

Step 11：人声与伴奏合并

结语：

准备工作：Chrome浏览器+一个专注的环境

Step 1:注册及登录阿里云主机

打开阿里云官网，登录个人阿里云账号，在左侧产品目录，进入人工智能平台PAI。

86d541e1640b4bb69c84169ed94e2343.png

1、选择左侧Notebook Gallery，这是一个基于Notebook方式的可视化平台，易于操作和二次开发。

2、在全部分类里，我们可以直接搜索开源项目so-vits-svc（也就是前段时间很火的AI孙燕姿用的模型项目）

最低0.47元/天 解锁文章
基于So-VITS-SVC4.0声音克隆
Mr数据杨
04-16 1万+
通过详尽的指导和丰富的配置选项，本文为使用者提供了一套完整的深度学习项目实施方法。从环境配置到数据集预处理，再到训练与推理的优化，每一步都尽可能考虑了实际应用中的细节和常见问题。自动f0预测、音色聚类控制、F0均值滤波等推理优化手段，为模型在不同场景下的音频生成效果提供了更高的灵活性和准确度。此外，WebUI的可视化界面简化了操作流程，使得即使是复杂的模型训练和推理配置也能轻松掌控。无论是初学者还是有一定经验的开发者，本文均提供了高效且实用的指导，帮助读者快速上手并优化其深度学习项目。
政安晨【零基础玩转各类开源AI项目】基于本地Linux Ubuntu系统部署及应用DDSP-SVC：基于DDSP（可微分数字信号处理）的实时端到端歌声转换系统
政安晨——致力于AI人工智能数字互动领域
09-13 1079
​DDSP-SVC 是一个新的开源歌声转换项目，致力于开发可以在个人电脑上普及的自由 AI 变声器软件。 相比于著名的SO-VITS-SVC, 它训练和合成对电脑硬件的要求要低的多，并且训练时长有数量级的缩短，和RVC的训练速度接近。
我把我的声音训练成了AI模型，并让它唱了一首歌...（附超全面教程，你奶奶看了都会用）
最新发布
WANGJUNAIJIAO的博客
03-24 807
天生五音不全，对于所有需要唱歌的场合我都是抗拒的，因为只有一片笑声。 我一直有一个梦想，就是用我的声音，唱一首不跑调的歌。 得益于AI的井喷式发展，我的愿望实现了。 我把我的声音，训练成了模型，并让它唱了一首我非常喜欢的《富士山下》。
声学模型训练----Acoustic Modeling
weixin_37355348的博客
08-19 1207
General Framework for AM： Building ASR system incrementally Context-independent ➔ Context-dependent modeling Mono-phone ➔ Tri-phone HMM Single Gaussian mixture per state ➔ Multiple Gaussian mixtur
七、训练自己的声学模型
嵌入式Developer_小J的天空
11-10 8800
训练自己的声学模型 Jiangdg_VIP http://blog.youkuaiyun.com/u012637501    译自： http://cmusphinx.sourceforge.net/wiki/tutorialam      声学模型主要用于计算语音特征和每个发音模板之间的似然度。目的是为每个声学单元建立一套模型参数（通过不断地学习和改进得到最优的，也就是概率最大的一组HMM模
Python训练自己的语音识别系统
water的博客
10-10 5246
Python训练自己的语音识别系统 引言： 近几年来语音识别技术得到了迅速发展，从手机中的Siri语音智能助手、微软的小娜以及各种平台的智能音箱等等，各种语音识别的项目得到了广泛应用。语音识别属于感知智能，而让机器从简单的识别语音到理解语音，则上升到了认知智能层面，机器的自然语言理解能力如何，也成为了其是否有智慧的标志，而自然语言理解正是目前难点。同时考虑到目前大多数的语音识别平台都是借助于智能云，对于语音识别的训练对于大多数人而言还较为神秘，故今天我们将利用python搭建自己的语音识别系统。 最终模型的
声学模型（一） hmm声学训练流程
xmdxcsj的专栏
04-04 7513
声学训练基本流程
让你COPY 自己的声音，GPT-SoVits 人声模型训练
m0_59139710的博客
02-29 8667
一个最快速、方便的声音copy模型，一个强大的少量语音转换和文本转换到语音 WebUI——GPT-SoVITS！
AI 翻唱必备神器！So-VITS-SVC 一键安装包下载
06-18
So-VITS-SVC 是一款基于人工智能的软件工具，它允许用户将自己的声音转换成指定歌手的声音，从而实现高质量的翻唱效果。这款神器尤其受到关注，因为近期AI孙燕姿的翻唱作品在网络上引起了热议。 So-VITS-SVC 的核心...
人工智能语音识别训练好的模型.rar
04-22
人工智能语音识别训练好的模型.rar
Diffusion-SVC: 基于扩散概率模型的高质量语音转换系统
2401_87458778的博客
09-23 1271
Diffusion-SVC为语音转换领域带来了新的可能性。通过结合扩散模型和浅扩散技术,该项目在保证高质量转换效果的同时,大大降低了硬件需求,使得实时语音转换成为可能。无论是研究人员还是应用开发者,都可以基于这个开源项目进行进一步的探索和应用开发。值得注意的是,在使用该技术时,需要遵守相关法律法规,确保只使用合法获得的授权数据进行模型训练,并且不将生成的音频用于非法目的。随着技术的不断发展,我们期待看到更多基于Diffusion-SVC的创新应用,为语音交互和内容创作领域带来更多可能性。
个性化语音模型训练实现
厉力文武
05-22 824
log_interval 设定了训练日志输出的频率，即在训练过程中，每10个步骤，模型的训练状态和性能指标将会被打印出来，供开发者监控训练进度。以上就是个性化语音模型训练的介绍和实现过程，补充说明一下个性化训练语音样本的格式和要求，从实践经验来看，样本为 wav 声音文件，音频长度建议不少于 10 秒，样本文件数不少于 20 个，在录制音频的时候无特殊要求，保持背景环境安静低噪音，按照平时正常说话的音量语速即可，经过上述训练过程生成的音色模板，在后续的语音再合成中，一定可以得到满意的效果。
使用轻改版PaddleSpeech套件训练自己的AI歌手-声学模型篇
m0_63642362的博客
02-06 4194
在训练完歌手的声码器后，就可以开始训练声学模型篇，类似于tts，输入歌词和音调，得到合成的歌声。
使用keras训练一个区分不同人声音的模型
Butertfly的博客
03-27 5423
随着tensorflow,keras,tflearn,mxnet这种深度学习库的完善，深度学习的门槛降低，很多之前很难的领域都开始对小白开放，比如语音领域，在深度学习火起来之前，语音识别和图像识别这种领域，没有很深的基本功和领域知识，根本不可能踏足，但是时代已经变了…所以，我在某个项目中遇到了这样一个问题：给出一些电话录音，一方是客服人员，另一方是消费者，想要知道哪句话是谁说的，并且想要知道客服的...
Sphinx武林秘籍(中)
weixin_33946605的博客
07-18 345
Sphinx武林秘籍(中) ――训练自已的中文语言模型与声学模型 一、训练语言模型    (1) 安装语言模型训练工具CMUCLMTK       ./configure       sudo make       sudo make install 默认安装在/usr/local/bin下面，可以看到下面这些生成文件 idngram2lm   idngram2stats     ...
有手就行！Sovits AI人声模型训练
热门推荐
qq_34231329的博客
06-14 1万+
随着AI孙燕姿的爆火出圈，各大视频平台的AI人声投稿量激增，B站首页频频给我推送相关视频，正好我对AIGC方面也挺感兴趣，心动不如行动，于是我用自己的声音训练了一个模型，发现整个过程异常的简单，并且最终出来的效果也不错，真的是有手就行，所以这次将我自己训练推理的过程经验分享给大家。
基于Ultravox训练自己的语音大模型
qq_44193969的博客
03-06 904
Ultravox 是一种新型的多模态语言模型，能够理解文本以及语音，无需单独的音频语音识别（ASR）阶段。基于像AudioLM、SeamlessM4T、Gazelle、SpeechGPT等研究，Ultravox 能够使用多模态投影扩展任何开放权重的语言模型，该投影将音频直接转换为语言模型使用的高维空间。我们已经在 Llama 3、Mistral 和 Gemma 上训练了版本。这种直接耦合使得 Ultravox 比结合单独的 ASR 和语言模型组件的系统响应速度快得多。
ai声音训练模型
03-09
### AI语音合成与训练模型的方法和工具 #### 创建AI语音合成模型 创建AI语音合成模型涉及多个阶段，从数据准备到最终部署。高质量的数据集对于构建有效的语音合成本地至关重要[^1]。 ```python import os from datasets import load_dataset # 加载并预处理数据集 dataset = load_dataset('common_voice', 'en') print(dataset['train'][0]) ``` #### 训练过程中的关键技术 在训练过程中，采用先进的算法能够显著提升模型性能。例如，在语音合成领域常用的有循环神经网络(RNN)，特别是其变种——长短期记忆(LSTM)网络，这些方法能有效捕捉时间序列特征[^4]。 ```python import torch.nn as nn class LSTMModel(nn.Module): def __init__(self, input_size=256, hidden_layer_size=100, output_size=256): super().__init__() self.lstm = nn.LSTM(input_size, hidden_layer_size) def forward(self, input_seq): lstm_out, _ = self.lstm(input_seq.view(len(input_seq), 1, -1)) predictions = self.linear(lstm_out.view(len(input_seq), -1)) return predictions[-1] ``` #### 使用开源框架简化开发流程 为了加速研发进程，许多开发者会选择基于成熟的开源平台来搭建自己的项目。像TensorFlow TTS就是一个专注于端到端文本转语音(TTS)系统的库；而Tacotron则是谷歌提出的著名TTS架构之一，它通过结合注意力机制实现了自然流畅的声音输出[^3]。 ```bash pip install tensorflow_tts ``` #### 实现高效的推理服务 当完成模型训练后，还需要考虑如何将其集成至实际应用场景中去。这可能涉及到API接口的设计、云端资源调配等方面的工作。利用容器化技术和微服务体系结构可以帮助解决这些问题，从而确保系统具备良好的可扩展性和稳定性[^2]。 ```dockerfile FROM python:3.9-slim-buster WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . CMD ["uvicorn", "main:app", "--host", "0.0.0.0"] ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值