内含教程丨音色克隆模型 GPT-SoVITS,5 秒语音就能克隆出相似度 95% 的声音

让AI帮你说话--GPT-SoVITS教程 让AI帮你说话--GPT-SoVITS模型合成自己声音 阅读详情
AI摘要

本文回顾了智能语音技术的发展历程,从早期的语音识别系统到Siri推动的交互阶段,再到现代的智能家居和自动驾驶中的广泛应用。GPT-SoVITS等模型的出现使得音色克隆变得流行,通过API和开源技术,开发者能构建更多个性化应用。HyperAI提供了相关教程和工具支持。,

「语音」是人类接触 AI 的「早教技术」,同时也是最早一批走出实验室,走进千家万户的 AI 技术。最初,人们针对智能语音的研究主要集中在语音识别上,即让机器听懂人类语言。


最早的基于电子计算机的语音识别系统是由 AT&T 贝尔实验室开发的 Audrey,能够识别 10 个英文数字。1988 年,李开复实现了第一个基于隐马尔可夫模型的大词汇量语音识别系统 Sphinx。1997 年,世界上首个面向消费者的连续语音听写系统 Dragon NaturallySpeaking 正式发布。2009 年,微软在 Windows 7 操作系统中集成了语音功能。


2011 年,里程碑式产品 iPhone 4S 发布,Siri 的诞生将智能语音从识别带入了「交互」的新阶段。同年,谷歌宣布将在其内部测试开始 Google 搜索,并在未来的日子里将在 Google.com 上推出语音搜索。


从听到说的跃迁,也是人机交互繁荣发展的重要奠基石。如今,从智能家居到智能驾驶,再到机器人,语音交互在 AI 的不断升级下也变得更加流畅,各类应用百花齐放。在技术端,各大云计算厂商已经以 API 的形式开源了其 AI 语音能力,开发者能够基于此进一步搭建应用。


近年来,随着大模型持续火爆,直接在模型层面的能力开源得到了越来越多的关注,开发者能够通过对模型进行训练、微调,进一步提升模型与其所开发的应用之间的部署效果。


不久前,RVC (Retrieval based Voice Conversion) 创始人(GitHub 账号:RVC-Boss)开源了一款音色克隆项目 GPT-SoVITS,上线后便获得极高热度,不少博主、开发者用当下流行的影视角色、动漫人物的音色,花样定制各类帆船台词,抓马的效果与易操作的体验,也令一批网友闻风而来,再一次为其热度添柴。据各大博主测试,仅需提供 5 秒语音样本,便可收获相似度达到 80%~95% 的克隆语音。


目前,该模型部署教程已上线 HyperAI超神经官网,点击开始克隆:

https://hyper.ai/tutorials/29812


小编让原神角色派蒙客串了一下甄嬛传里的皇后,派蒙秒变乌拉那拉氏皇后。


 B 站热门 up 主 Jack-Cui 制作的 AI 声音克隆教程如下:

https://www.bilibili.com/video/BV1WC411W79t/?spm_id_from=333.788&vd_source=5e54209e1f8c68b7f1dc3df8aabf856c


手把手教程如下,准备好 5 秒语音就能开始训练你的声音克隆模型啦!


数据准备


目前该教程内已预设多款经典角色音色供大家体验,如想克隆其它音色,则需要准备一段该音色 MP3 格式的音频文件,最好为单独人声(30s 左右即可),高质量的音频文件可以提升克隆声音的逼真程度。


1. 点击「在线运行此教程」,跳转至 OpenBayes 平台。


fd994cef152779db1d8c08986d534098.jpeg


2. 点击「克隆」,复刻该模型。(此步骤只可体验 B 站 up 主 Jack-Cui 已上传的音色)


b1bbbf305713370eb3947c4e5bb007d7.jpeg


3. 如果想自定义克隆音色,需要创建全新的数据集。通过左侧菜单栏中的「数据集」后,点击「创建新数据集」。


37269817ae92801f1a1b2e1f9259cef9.jpeg


4. 按照要求填写好「数据集名称」和「数据集描述后」,点击「创建数据集」。


7b65a26ef5f912e6245a940b632d4358.jpeg


5. 创建完成后,点击右上角「上传新版本」,将想要克隆的音频文件上传。


9b7523fe6ef66a23fbe1150c7c25a9b3.jpeg


Demo 运行


1. 数据准备完成后,在左侧菜单栏「公共教程」中,打开「GPT-SoVITS 音频合成在线 Demo」,回到该教程页面,再点击右上角「克隆」,将教程克隆至自己的容器中。


5619daec28856c0cec4dd0b17956c40b.jpeg


5d0a6fa3d0709bc89ce6b0246b7bc9bf.jpeg


2. 目前,demo 已经绑定了可莉、华妃、甄嬛、胖橘的音频数据。目前绑定数据的数量已满,可以删除不需要的音频数据后添加自己创建的数据集。


b7369ee380785b9761b06ba17d5d6d13.jpeg


3. 添加完成后,点击「审核并执行」。


4. 跳转页面后,点击「继续执行」。推荐使用 RTX 4090。


小编为大家争取到了新用户福利!新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 免费算力时长。


HyperAI超神经专属邀请链接(直接复制到浏览器打开即可注册):

https://openbayes.com/console/signup?r=Ada0322_QZy7


0a6c3fedd8e60918abeba2166d78fdc8.jpeg


5. 稍等片刻,待状态会变为「运行中」后,点击「打开工作空间」。首次克隆启动该容器约需要 3-5 分钟,如超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;如重启仍无法解决,请在官网联系平台客服。


ab4b54ad9a542eaddd1ab5048d5dd421.jpeg


6. 打开工作空间后,点击左侧「run.ipynb」,通过菜单栏中的「运行」按钮,点击「运行所有单元格」。


699334a71a4b66d4316aae35b2b9e116.jpeg


7. 找到「Running on public URL」,打开该链接。


2aa6e979b642de9e83f33563ffb98f0d.jpeg


8. 在「数据集地址」模块内填写本次想要克隆声音的数据集地址,选择音频数据类型后,点击「开始训练」,待输出结果显示为「模型正在开启预测,请稍后」,回到「run.ipynb」,即可看到显示「GPT 训练完成」。


46ac756821c4186e7b03deb9bc42e4d1.jpeg


ec045fe5851e8750af2c25d0615b5e18.jpeg


18e186d6fb95d9d8ba64b679aaa083db.jpeg


127e3231ed444e90a92df5d7181d8175.jpeg


9. 打开右侧「API 地址」,请注意,用户需在实名认证后才能使用 API 地址访问功能。


bc7c0b33d1e4acb11df839e065979b44.jpeg


效果展示


1. 在「GPT 模型列表」和「SoVITS 模型列表」选择训练好的模型,然后在「Inference text」中输入文本,点击「Start inference」后,稍等片刻,就能愉快地玩耍啦!


c185feb99e2d99d9e47ef3e9757f0069.jpeg


目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter 记事本的形式。


点击链接即可搜索相关教程及数据集:

https://hyper.ai/tutorials

【GPT-SOVITS-03】SOVITS 模块-生成模型解析 GPT-SOVITS 源码解析 阅读详情

相关推荐

用 GPT-SoVITS 克隆声音

参考这个视频。

chen的博客 6735

【AI模型】一分钟教你使用GPT-SoVITS,克隆你的声音,效果十分逼真,手把手实操教程

进入如下界面后即可进行打标,左侧为自动生成的文字,中间为原音频,我们需要根据音频实际去修改左侧文字,看看是否有错误,错误一般为文字错误,标点错误,断句错误等,修改好后点击第二个Submit Test提交即可。看到下边,需要我们上传10秒以内的音频,注意了,这里是十秒音频,必须和前边训练的声音要一致,前边假如训练的是自己的声音,那这里也要上传自己的声音,而且此次生成的音频语气感情都会参照这10秒内的声音来合成。首先我们可以准备好一段音频,用于切割训练,我这里准备了四分钟,取自一个视频中的音频。

冰小九的博客 1万+

RVC 与 GPT-SoVITS 对比评测:5秒 vs 30分钟素材,音色克隆效果实测

本文深入对比了RVC与GPT-SoVITS在音色克隆领域的实战表现,通过5秒与30分钟素材的测试,揭示了两者在效率、音质保真度及适用场景上的差异。RVC在音域稳定性上表现优异,而GPT-SoVITS则在小样本快速克隆方面更具优势,为内容创作者提供了全面的技术选型指南。

weixin_29051811的博客 267

GPT-SoVITS 本地化部署及使用 [详细教程]

作者b站演示视频:耗时两个月自主研发的低成本AI音色克隆软件,免费送给大家!【GPT-SoVITS】_哔哩哔哩_bilibili关注UP主并私信GPT/gpt/sovits/SOVITS/SoVITS/SVC/svc自动获取整合训练包下载链接文案配音:AI孙笑川(GPT-SoVITS)算法相关经验和成果是我和Rcell经过半年时间踩了上百个坑得出的当前的最优解,如果对大家有用的话,希望能够一键三连支持一下。收费的均不是本人。RVC官方唯一账号。

Polo_fang的博客 3万+

整合WGCNA、机器学习和孟德尔随机化

(G)通过蛋白质免疫印迹法(Western blot)测定的 UT-B(由 SLC14A1 编码)、ARHGEF38、NEFH、MSMB、KRT23 和 KRT15 在前列腺癌肿瘤组织和癌旁非癌组织中的蛋白质表达水平。本研究利用来自基因表达综合数据库(GEO)的数据集筛选差异表达基因(DEGs),并采用加权基因共表达网络分析(WGCNA),以识别在模块中与前列腺癌高度相关的驱动基因。(F)蓝绿色模块中的模块成员关系(MM)与前列腺癌(PCa)的基因显著性(GS)的散点图。(D)6 个基因之间的相关性分析。

多组・学・多组学 1142

基于FFT的阵列方向图快速计算公式推导

因为自己毕设涉及到阵列方向图综合相关知识,最近阅读了关于方向图综合的相关文献,就其中关于使用FFT计算阵列方向图的方法进行了公式推导。 简介: 自从1965年Colley-Tukey发表快速傅里叶变换[1]论文以来,FFT在许多科学技术领域获得了广泛和成功的应用。在阵列信号处理与雷达信号处理领域,随着科技的发展,对于电尺寸较大的相控阵天线,使用公式按照级数求和计算天线阵列方向图的方法效率甚低,...

qq_38151438的博客 4295

GPT-SoVits:刚上线就获得了5.1k star的开源声音克隆项目!效果炸裂的跨语言音色克隆模型!

GPT-SoVITS是一款强大的支持少量语音转换、文本到语音的音色克隆模型。支持中文、英文、日文的语音推理。据开发者及各大博主测验,仅需提供 5 秒语音样本即可体验达到 80%~95% 像的声音克隆。若提供 1 分钟语音样本可以逼近真人的效果,且训练出高质量的 TTS 模型!项目地址:https://github.com/RVC-Boss/GPT-SoVITS目前已获得5.1k Star,看到很多人对其评价为目前最强中文语音克隆工具。GPT-SoVITS。

z_ipython的博客 9291

基于 parallels ubuntu 20.04 LTS (focal) 的ros+px4+gazebo 安装

基于 parallels ubuntu 20.04 LTS (focal) 的ros+px4+gazebo 安装。

weixin_40132006的博客 2242

GPT-SoVITS 语音克隆终极指南:5 秒音频,快速打造你的专属 AI 音色

你有没有想过,只录 5 秒自己的声音,就能让 AI 用你的音色朗读任意文字?开源项目 **GPT-SoVITS** 正是干这件事的:它是一个支持少样本语音克隆和文本转语音(TTS)的 WebUI 工具,5 秒参考音频即可零样本合成,1 分钟训练数据就能微调出高相似度的专属音色,原生支持中、英、日、韩、粤五种语言混合。下面这条"旅程"会带你从零跑通它,并讲清楚每个环节该注意什么。 ## 先说重点:

gitblog_00476的博客 972

NXP ChessDE的安装和激活

如果客户申请的是试用版,那么一份为期 30 天的 License 将会发送申请人的账号或邮箱中,客户使用该文件进行安装即可。② 将“VENDOR snpslmd /path/to/snpslmd”中的“/path/to/snpslmd”替换成 snpslmd.exe 实际存放路径(位于 SCL 安装目录下的 win32\bin 文件夹中,默认安装的情况下就是“VENDOR snpslmd C:\Synopsys\SCL\<version>\win32\bin\snpslmd.exe”)。

weixin_47351160的博客 2049

华为Atlas200DK实战指南:从零搭建AI开发环境到人像语义分割模型部署

本文提供了一份详尽的华为Atlas 200DK AI开发环境搭建与模型部署实战指南。文章采用合设环境方案,从SD卡准备、系统镜像烧录、网络配置到必备工具安装,逐步引导开发者完成环境搭建。核心部分详细讲解了如何利用华为ATC工具将TensorFlow模型转换为昇腾专用格式,并最终成功编译和运行人像语义分割模型,实现实时人像识别效果。

weixin_29309213的博客 356

5分钟掌握语音克隆终极方案:如何用GPT-SoVITS实现专业级AI配音

想象一下,只需要5秒钟的音频样本,你就能克隆任何人的声音,生成自然流畅的语音内容。GPT-SoVITS语音克隆工具正是这样一个革命性的开源项目,它结合了GPT架构和SoVITS声学模型,为普通用户提供了一站式的AI配音解决方案。无论你是内容创作者、游戏开发者还是教育工作者,这个工具都能让你的语音克隆项目变得简单高效。 ## 🎙️ 语音克隆的魔法:从概念到现实 **语音克隆**技术正在改变我们

gitblog_00720的博客 978

手把手教你解决Kernel panic报错:init找不到的5种排查方法(附NFS挂载实战)

本文深入解析了Linux系统启动时出现“Kernel panic - not syncing: No working init found”报错的根本原因,并提供了五种系统性的排查方法。文章结合NFS挂载根文件系统的实战场景,详细阐述了从动态链接库依赖、内核引导参数、NFS权限配置、文件系统完整性到内核配置干扰的完整排查路径,帮助开发者快速定位并解决这一常见的系统启动故障。

weixin_29159995的博客 198

零基础克隆你的声音:GPT-SoVITS人声模型训练全攻略

在AI语音克隆领域,GPT-SoVITS技术正以**5秒语音样本实现95%相似度**的突破性表现,成为数字人、有声内容创作、语音辅助等场景的核心引擎。本文将结合2025年最新技术实践,从原理拆解到实操部署,手把手教你打造专属语音克隆模型。

不积跬步,无以至千里;不积小流,无以成江海。 2168

【时时三省】tessy 集成测试 总论

序论不积跬步无以至千里,不积小流无以成江海。正文。

时时三省的博客 1149

Monorepo与pnpm:前端项目管理的完美搭档

pnpm又称 performant npm,翻译过来就是高性能的npm。Monorepo是一种项目开发与管理的策略模式,它代表"单一代码仓库"(Monolithic Repository)。在Monorepo模式中,所有相关的项目和组件都被存储在一个统一的代码仓库中,而不是分散在多个独立的代码仓库中,这些项目之间还可能会有依赖关系。

m0_68271787的博客 2562

GPT-SoVITS音色克隆与推理优化实践

深入解析GPT-SoVITS的音色克隆流程,涵盖数据预处理、特征提取、模型微调及服务部署中的关键步骤。重点剖析其在ONNX导出、KV Cache优化和TensorRT量化中的常见问题与性能瓶颈,并提供实际优化路径。

weixin_35829279的博客 1104

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

GPT-SoVITS音色克隆与量化推理优化实践

深入解析GPT-SoVITS的音色克隆流程,涵盖数据处理、模型微调与推理优化,重点探讨ONNX导出问题、KV Cache性能瓶颈及TensorRT下的FP16/INT8量化性能对比,提供服务化部署的完整profile分析。

weixin_42596214的博客 835

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

GPT-SoVITS量化笔记

编码器encoder去除音色这一步,事实上目前没有完全去除音色的特征,只有去音色相对强的特征,这也是为什么sovit编码器最后选用ContentVec作为编码器的原因。填写输入音频目录和切分输出目录、填写要语音识别(音频转文本)的音频输入目录,分别作语音切分和语音识别=》将原来语音切分后进行语音识别成文本。③在重建的过程中模型将训练集音色学习进它的参数中,因此输入其他音色的语音进过编码后,VITS模型也能重建出学习过的音色语音。推理前需要上传目标音色的参考视频,并填写对应的文本和语种。

谢白羽 2103

5秒克隆你的声音:GPT-SoVITS人声模型实战指南

本文提供了GPT-SoVITS人声模型的实战指南。该模型仅需5秒音频即可克隆音色,通过双阶段训练学习内容与音色,结合WebUI简化操作流程。文章详细介绍了从环境搭建、数据准备与净化,到模型训练、推理合成及效果优化的完整步骤,并探讨了其创意应用与必须遵守的伦理规范。

weixin_28622215的博客 326

GPT-SoVITS语音克隆镜像评测:5秒样本实现高质量声音复刻

本文介绍了如何在星图GPU平台上自动化部署GPT-SoVITS语音克隆镜像,实现高质量声音复刻功能。该镜像仅需5秒语音样本即可生成逼真语音,适用于虚拟助手、有声读物和游戏开发等场景,大幅降低语音合成门槛。

weixin_35370061的博客 41

GPT-SoVITS效果实测:仅需1分钟音频,克隆出逼真度超高的语音

本文介绍了如何在星图GPU平台上自动化部署GPT-SoVITS镜像,实现高效语音克隆功能。该技术仅需1分钟音频样本即可生成逼真度超高的语音,广泛应用于视频配音、虚拟主播语音定制等场景,显著提升数字内容创作效率。

weixin_34456923的博客 270

如何评估GPT-SoVITS生成语音的质量?MOS评分方法介绍

在AI语音合成中,MOS评分成为衡量自然度与音色相似度的黄金标准。通过真实听者打分,能客观反映GPT-SoVITS等模型的生成效果,尤其适用于少样本语音克隆场景。科学的测试设计、数据清洗与反馈闭环,让MOS不仅是分数,更是优化模型的关键依据。

weixin_35592186的博客 918

GPT-SoVITS语音克隆终极指南:5秒音频实现专业级语音合成

想要用短短5秒的音频样本就能克隆任何人的声音吗?GPT-SoVITS作为一款革命性的开源语音克隆工具,让语音合成技术变得前所未有的简单和高效。这款强大的语音克隆系统结合了GPT架构和SoVITS声学模型的优势,为普通用户提供了一站式的零样本语音克隆解决方案,即使只有1分钟的音频数据也能训练出高质量的TTS模型。 ## 🎯 项目概览与核心价值 ### 为什么GPT-SoVITS是语音克隆的最佳

gitblog_00861的博客 466

【亲测免费】 GPT-SoVITS:开启语音克隆与文本转语音的新纪元

GPT-SoVITS:开启语音克隆与文本转语音的新纪元 【下载地址】GPT-SoVITS部署与API调用指南 本资源文件提供了关于GPT-SoVITS模型的详细部署与API调用指南,主要以AutoDL云端部署为例。GPT-SoVITS是一款强大的支持少量语音转换、文本到语音的音色克隆模型,支持中文、英文、日文的语言推理。...

gitblog_06583的博客 907

GPT-SoVITS声音克隆效果实测:像不像?听了就知道!

本文介绍了如何在星图GPU平台上自动化部署GPT-SoVITS镜像,实现高效的声音克隆功能。该技术仅需5秒语音样本即可生成高度逼真的个性化语音,适用于语音助手、有声读物制作等场景,显著降低声音克隆的使用门槛。

weixin_36464343的博客 200
上一篇: Relay BNNS 集成
下一篇: HyperAI超神经 x DT新材料丨AI技术在化学与材料科学科研中应用研讨会开启报名
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值