GPT-SoVits:刚上线就获得了5.1k star的开源声音克隆项目!效果炸裂的跨语言音色克隆模型!

GPT-SoVITS 测试 AutoDL地址:https://www.codewithgpu.com/i/RVC-Boss/GPT-SoVITS/GPT-SoVITS-Official。Blili 地址:https://www.bilibili.com/video/BV12g4y1m7Uw。GitHub地址:https://github.com/RVC-Boss/GPT-SoVITS。step2 创建好实例之后,进入命令行,输入命令。step4 完成之后,点击 tab 栏,随后选择公网地址打开,进入Web页面。step1 打开地址。 阅读详情
AI摘要

RVC-Boss与Rcell合作的GPT-SoVITS项目利用AI技术,实现少样本语音转换和文本到语音,只需1分钟训练即可逼近真人效果。项目包含WebUI工具和集成多种辅助功能,备受关注并迅速增长Star数。,

上周,RVC变声器创始人 (GitHub昵称:RVC-Boss) 开源了一款跨语言音色克隆项目 GPT-SoVITS。项目一上线就引来了互联网大佬和博主的好评推荐,不到两天时间就已经在GitHub上获得了1.4k Star量,不过现在已经飙升到了5.1k。

据说,该项目是RVC-Boss 同Rcell (AI音色转换技术Sovits开发者)共同研究,历时半年,期间遇到了很多难题而开发出来的一款全新的低成本的易用的音色克隆工具。

接下来小编带大家一起看看这款新型的音色克隆工具RVC-Boss有何特别之处!

项目介绍

GPT-SoVITS 是一款强大的支持少量语音转换、文本到语音的音色克隆模型。支持中文、英文、日文的语音推理。

据开发者及各大博主测验,仅需提供 5 秒语音样本即可体验达到 80%~95% 像的声音克隆。若提供 1 分钟语音样本可以逼近真人的效果,且训练出高质量的 TTS 模型!

项目地址:https://github.com/RVC-Boss/GPT-SoVITS

目前已获得 5.1k Star,看到很多人对其评价为目前最强中文语音克隆工具。

特征:
  • 零样本 TTS:输入 5 秒语音样本并体验即时文本到语音转换。

  • Few-shot TTS:仅用 1 分钟的训练数据即可微调模型,以提高语音相似度和真实感。

  • 跨语言支持:用与训练数据集不同的语言进行推理,目前支持英语、日语和中文。

  • WebUI工具:集成工具包括语音伴奏分离、自动训练集分割、中文ASR和文本标注,帮助初学者创建训练数据集和GPT/SoVITS模型。

使用方式

如果是 Windows 可直接开箱使用。

只需下载项目中的 prezip,解压并双击 go-webui.bat文件 即可启动 GPT-SoVITS-WebUI,然后通过界面方式操作即可。

项目环境依赖:

GPT-SoVITS 依赖于开源音视频全能转码工具 FFmpeg。这个需要我们根据不同的系统进行手动安装。

conda 环境安装:

conda install ffmpeg

Ubuntu/Debian 用户:

sudo apt install ffmpeg   
sudo apt install libsox-dev   
conda install -c conda-forge 'ffmpeg<7'

Mac 操作系统用户:

brew install ffmpeg

Windows操作系统用户:

需手动下载ffmpeg.exe和ffprobe.exe并将其放置在 GPT-SoVITS 根目录下。

ffmpeg.exe下载地址:https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/ffmpeg.exe

ffprobe.exe下载地址:https://huggingface.co/lj1995/VoiceConversionWebUI/blob/main/ffprobe.exe

预训练模型下载放置位置:

具体使用步骤:

1、打开项目根目录,将预置克隆音频放置根目录,然后双击go-webui.bat 运行项目。(可以发现它实际上执行了Python脚本webui.py)

2、语音切割演示,将音频文件路径填入“音频自动切分输入路径”下,点击“开启语音切割”

最终的切分结果会存放在项目Output下的slicer_opt目录下(切分成了20份)

3、开始转写,将切分路径填入“中文批量离线ASR工具”输入路径下,转写结果文件会在Output下的asr_opt目录下生成

4、切换到GPT-SoVITS-TTS标签,填写模型名称(角色名),再分别填入之前生成的切分目录和转写目录路径,开启文本获取-开启SSL提取-语义Token提取(这3个步骤,一步一步来,一个完成之后再点击下一个),最后开启一键三连

然后转到“微调训练”,设置适合自己显卡的显存,“开启SoVits训练”,然后SoVits训练结束后,再“开启GPT训练”

5、选择“推理”标签栏,设置GPT和SoVits的模型,勾选“是否开启TTS推理WebUI”,等一会回自动跳转到一个新的“推理界面”

5、填写参考音频信息(音频文件、音频文本、语种)、合成音频信息(音频文本,语音),点击合成语音,最后就完成了语音转换。

总结

GPT-SoVITS 支持跨语言,集成了声音伴奏分离、自动训练集分割、中文ASR和文本标注等辅助工具。

仅需1分钟的训练数据,即可微调模型,提高语音相似性和真实感。

整体的体验还想相当不错的,希望未来应用的领域会越来越多,更新迭代会越来越完善。

GPT-SoVITS音色克隆实战:手把手教你打造AI语音库 GPT-SoVITS是由RVC创始人RVC-Boss与AI声音转换技术专家Rcell共同开发的一款跨语言TTS克隆项目。它是一款强大的音色克隆模型,支持少量语音转换,支持中文、英文和日文的语音推理。基于深度学习技术,GPT-SoVITS能够生成与目标人物声音非常相似的音频,只需提供一分钟的语音即可进行有效的识别和训练,生成高度相似的语音模型。该软件适用于各种应用场景,如虚拟代言人、语音助手和有声读物等,用户可以轻松生成高质量的语音音频,以满足不同需求。✦ 核心功能亮点。 阅读详情

相关推荐

轻松实现语音生成:GPT-SoVITS V2整合包的远程访问操作详解

轻松实现语音生成:GPT-SoVITS V2整合包的远程访问操作详解

分享学习知识地方 2182

GPT-SoVITS 本地化部署及使用 [详细教程]

作者b站演示视频:耗时两个月自主研发的低成本AI音色克隆软件,免费送给大家!【GPT-SoVITS】_哔哩哔哩_bilibili关注UP主并私信GPT/gpt/sovits/SOVITS/SoVITS/SVC/svc自动获取整合训练包下载链接文案配音:AI孙笑川(GPT-SoVITS)算法相关经验和成果是我和Rcell经过半年时间踩了上百个坑得出的当前的最优解,如果对大家有用的话,希望能够一键三连支持一下。收费的均不是本人。RVC官方唯一账号。

Polo_fang的博客 3万+

AI数字人直播系统源码部署实战:从TTS到Wav2Lip再到RTMP推流全解析

数字人直播作为人工智能与实时音视频技术融合的典型应用,正逐步渗透到电商带货、在线教育、企业宣传等场景。一个完整的数字人直播系统,核心链路涉及语音合成、形象驱动、视频渲染与流媒体传输等多层技术栈。其中,TTS技术负责将文本转化为自然语音,Wav2Lip等模型则基于音频驱动人像嘴型生成逼真画面,最终通过RTMP协议将合成视频推送至直播平台。理解这些底层原理,不仅有助于评估技术方案,更能指导开发者避开开源项目部署中的常见陷阱,如采样率不匹配、GPU资源冲突和推流参数失当等问题。本文从实际工程出发,系统梳理数字人直

weixin_33966095的博客 403

【AI模型】一分钟教你使用GPT-SoVITS,克隆你的声音,效果十分逼真,手把手实操教程

进入如下界面后即可进行打标,左侧为自动生成的文字,中间为原音频,我们需要根据音频实际去修改左侧文字,看看是否有错误,错误一般为文字错误,标点错误,断句错误等,修改好后点击第二个Submit Test提交即可。看到下边,需要我们上传10秒以内的音频,注意了,这里是十秒音频,必须和前边训练的声音要一致,前边假如训练的是自己的声音,那这里也要上传自己的声音,而且此次生成的音频语气感情都会参照这10秒内的声音来合成。首先我们可以准备好一段音频,用于切割训练,我这里准备了四分钟,取自一个视频中的音频。

冰小九的博客 1万+

让AI帮你说话--GPT-SoVITS教程

让AI帮你说话--GPT-SoVITS模型合成自己声音

weixin_40313940的博客 1万+

GPT-SoVITS 使用指南

是一种将文字转换为自然语音的技术,通过算法生成人类可听的语音输出,广泛应用于语音助手、无障碍服务、导航系统等场景。类似的还有SVC(歌声转换)、SVS(歌声合成)等。是一个开源的TTS(文本到语音)项目,它是基于生成式预训练模型GPT(Generative Pre-trained Transformer)与语音克隆技术SoVITS(Speech-to-Video Voice Transformation System)结合的语音合成工具。

qq_37771475的博客 4133

一分钟教你使用GPT-SoVITS-克隆你的声音-效果十分逼真-全干货教程

最后我们在下方填入list的文件路径,点击下方开启语音文本校对标注工具,开始打标此操作也会启动一个新的界面3.音频打标进入如下界面后即可进行打标,左侧为自动生成的文字,中间为原音频,我们需要根据音频实际去修改左侧文字,看看是否有错误,错误一般为文字错误,标点错误,断句错误等,修改好后点击第二个Submit Test提交即可本页检查完,如果有第二页,则点击右上角Next跳转下一页进行打标,需要删除音频则勾选yes,然后点击顶部的Delete Audio进行删除。随后找到最底下的一键三连!

php源码 6796

GPT-SoVITS使用指南——点动科技

GPT-SoVITS官方指南

weixin_63782093的博客 9149

AI克隆语音(基于GPT-SoVITS)

使用GPT-SoVITS训练声音模型,实现文本转语音功能。可以模拟出语气,语速。如果数据质量足够高,可以达到非常相似的结果。相比于So-VITS-SVC需要的显卡配置更低,数据集更小(我的笔记本NVIDIA GeForce RTX 4050 Laptop GPU跑起来毫无压力。

weixin_43735634的博客 5609

(25.08)Ubuntu20.04+ROS1复现FAST-LIO2

请确保在。

m0_69023437的博客 3996

别再只画版图了!用ADS RFPro的Circuit模型,快速评估滤波器加电容后的性能变化

本文详细介绍了如何利用ADS RFPro的Circuit模型功能,实现射频滤波器设计中版图与集总元器件的高效协同仿真。通过混合仿真技术,工程师可以快速评估滤波器加电容后的性能变化,大幅缩短设计迭代周期,提升工作效率。文章还提供了实战案例和高级技巧,帮助读者掌握这一创新设计方法。

weixin_28559803的博客 258

GPT-SoVITS 一键整合包- AIStarter启动器专属

GPT-SoVITS 一键整合包下载地址:更多分流下载地址百度网盘链接:提取码:d7xz。

weixin_43833874的博客 2万+

GEE去云处理代码段解读(位运算)

GEE去云处理代码段解读,包含位运算符号解读、bitwiseAnd()函数、eq()函数解读

jiekeheiguanglan的博客 2069

GPT-SoVITS:零样本语音合成AI

如果语音具有鲜明的特征,即使使用零样本推理,也可以获得相当好的语音。为了获得更高的准确率,需要进行微调。首先,创建一个数据集。使用预处理部分中的“0-Fetch Dataset”中的工具指定音频文件的路径并分割音频。接下来,使用 ASR 工具进行语音识别以生成参考文本。通过选择 Faster Whisper,您可以指定语音识别的语言。``````Example:``````创建数据集后,在选项卡 1-GPT-SOVITS-TTS 的子选项卡 1A-数据集格式化中格式化训练数据。

新缸中之脑 5689

【ComfyUI】多模型 户型图风格渲染效果图

本文介绍了一种基于ComfyUI的室内户型图自动渲染工作流,将平面图转换为风格化效果图。该工作流通过RH_Captioner节点识别空间布局,结合Qwen2.5模型优化文本描述,再使用定制室内设计模型生成渲染图。整个流程包含图像输入、空间识别、文本组织、语言生成、风格转换和渲染输出等9个阶段,各节点协同完成从户型图到效果图的全自动转换。系统融合了语言理解和图像生成技术,可广泛应用于室内设计、装修可视化等领域。

Mr数据杨 3017

bevformer详解(3): 逐行代码讲解

在这篇文章中,我们将从BEVFormer算法代码入手,深入探究BEV转换的流程。BEVFormer是一种基于Transformer的BEV转换模型,其核心思想是利用自注意力机制和交叉注意力机制,从,并通过Object Query与BEV特征的交互,完成3D目标检测和地图分割等任务。https://developer.baidu.com/article/details/3224715bevformer的网络结构由三部分组成, 模型结构所示,其中的是部分,对于的是的结构,对于部分,沿用的中的decoder部分,

@bangbang的博客 3702

GPT-SoVITS语音合成模型部署及使用

手把手教小白用户部署GPT-SOVITS,开启文本到个性化语音生成的AI技术之旅。

benben044的专栏 5373

【AI编程】Trae 环境搭建与配置从使用到项目实战详解

Trae 环境搭建与配置从使用到项目实战详解

congge 5652

使用 GPT-SoVITS 克隆声音,很详细

最近对文本转语言很感兴趣,但对直接在网站上生成的音频音色却不是很满意,经过不断地寻找,就看中了“GPT-SoVITS” ,对想要的音色进行克隆。

studio_1的博客 1万+

高电压技术的面试内容整理(详细版本:57题)

涵盖了高电压技术的关键领域,包括气体放电的物理过程、液体和固体介质的绝缘特性、高压外绝缘的分类与特性、电气设备绝缘试验的方法与原理、电力系统的防雷保护措施,以及内部过电压的产生、影响与限制方法,为理解和应对高电压环境下的电气问题提供了系统的知识框架。通过深入探讨气体放电理论、介质极化与损耗、绝缘子的电气特性、绝缘试验技术、防雷策略以及内部过电压的管理。

weixin_44808274的博客 777

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

【免费下载】 GPT-SoVITS 项目使用教程

GPT-SoVITS 是一个基于深度学习的文本到语音(TTS)转换项目,它利用了先进的语音合成技术,能够在短时间内生成高质量的语音。该项目支持零样本和少样本学习,用户只需提供少量的语音数据即可训练出高质量的TTS模型。GPT-SoVITS 还提供了丰富的工具和接口,方便用户进行语音数据的预处理、模型训练和推理。 ## 2、项目快速启动 ### 环境准备 首先,确保你的系统环境满足以下要求: ...

gitblog_00496的博客 2670

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

GPT-SoVITS项目的API改良与使用

GPT-SoVITS是一个非常棒的少样本中文声音克隆项目,之前有一篇文章详细介绍过如何部署和训练自己的模型,并使用该模型在web界面中合成声音,可惜它自带的 api 在调用方面支持比较差,比如不能中英混合、无法按标点切分句子等,因此对原版api做了修改,详细使用说明如下。

AAI666666的博客 1万+

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

GPT-SoVITS语音克隆入门

主要参考资料:GPT-SoVITS: 智能语音合成的新境界:你的声音,现在是我的了!- 手把手教你用 GPT-SoVITS 克隆声音!

qq_40773212的博客 1005

低配置电脑也能跑!GPT-SoVITS CPU推理优化指南

你是否曾因电脑配置不足而无法体验AI语音合成的魅力?当高端GPU成为AI应用的标配时,本文将为你展示如何在普通办公本甚至老旧电脑上流畅运行GPT-SoVITS的文本转语音(TTS)推理。通过实测验证的优化方案,即使是4GB内存的双核CPU设备,也能实现高质量语音合成。 ## 核心优化策略概览 GPT-SoVITS作为结合GPT和SoVITS优势的语音合成模型,原本对硬件要求较高。通过分析[co...

gitblog_00949的博客 2155

GPT-SoVITS语音克隆部署与使用

GPT-SoVITS是一款强大的少量样本语音转换与语音合成开源工具

Qinghub‘博客 4299
上一篇: 职言圈 | 小伙年薪95w,女朋友父母却爱搭不理,如今上岸国家电网,人不到,叔叔阿姨吃饭都不动筷子...
下一篇: 职言圈 | “年终奖清零”,已成互联网大厂潜规则?
孜孜孜孜不倦
博客等级 码龄7年 1803粉丝 277原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孜孜孜孜不倦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值