Stability AI 推出音频采样和音效设计的开源模型 文字到音效的无缝转换

StableAudioOpen：创新音频生成模型
原创 已于 2024-06-07 14:05:48 修改 · 375 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #音视频

于 2024-06-07 14:05:26 首次发布
部署运行你感兴趣的模型镜像

这个创新开源模型叫 Stable Audio Open，它可以从文本提示生成短音频样本和音效。可以用来创建鼓点、乐器节奏、环境噪音和视频、电影及电视剧的音乐“制作元素”，另一个重要的优势是用户可以在自己的自定义音频数据上微调模型。

这个发布旨在为音效设计师、音乐家和更广泛的创意社区提供工具，帮助他们制作高质量的音频数据。

了解详情以及 Stable Audio Open 模型下载地址，请点击查看原文：

Stability AI 推出音频采样和音效设计的开源模型 文字到音效的无缝转换

您可能感兴趣的与本文相关的镜像

Qwen3-8B

Qwen3-8B

文本生成
Qwen3

Qwen3 是 Qwen 系列中的最新一代大型语言模型，提供了一整套密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面取得了突破性进展

Topstip
关注
AIGC从入门到实战：AI 2.0 向多领域全场景应用迈进
AI天才研究院
05-28 1340
人工智能(Artificial Intelligence, AI) 的概念最早可以追溯到上世纪50年代，图灵在1950年发表的论文《计算机器与智能》中提出了著名的“图灵测试”，被认为是人工智能的开山之作。此后，人工智能经历了几十年的发展，经历了符号主义、连接主义、专家系统等阶段，但始终未能突破理论和应用的瓶颈。20世纪80年代末，机器学习开始兴起，并在90年代取得了突破性进展，例如支持向量机(SVM)和决策树等算法的提出。
AIGC技术入门指南：从零开始掌握生成式AI的核心原理
大模型应用工坊
04-20 1160
生成式人工智能（AIGC，AI-Generated Content）是人工智能领域的颠覆性技术，其核心是让机器自主生成文本、图像、音频甚至视频等内容。为技术入门者提供AIGC的系统性知识框架；深入解析主流生成式模型（如GAN、VAE、扩散模型）的原理与数学基础；通过实战案例演示如何快速上手生成式AI开发；总结行业应用场景与未来发展趋势。本文覆盖范围包括：AIGC的核心概念、主流算法原理、数学模型推导、项目实战（文本/图像生成）、工具资源推荐及常见问题解答。核心概念。
算法学习 -- Staple: Complementary Learners for Real-Time Tracking
u010598445的专栏
10-12 1万+
Abstract一个结合梯度特征HOG及颜色特征的实时跟踪算法，速度达到80FPS，即每秒80帧图像。IntroductionStaple: Sum of Template And Pixel-wise LEarners 对于目前的主流跟踪算法，采用的tracking-by-detection策略，即先检测目标的位置，以HOG检测为例 ，对同一个目标，可能得到多个目标的矩形框，如下图所示。有的时候
Stability AI发布AI音频模型Stable Audio Open，文本生成47秒高清音效
nulifancuoAI的博客
06-12 1506
Stability AI这家以开源图像生成模型 Stable Diffusion 而闻名的公司，在 6 月 6 日宣布开源其最新的 AI 音频模型 Stable Audio Open。这一新模型可以根据简单的文本提示生成最多 47 秒的高质量音频数据，为音乐制作和声音设计领域带来了新的可能性。Huggingface模型下载：AI快站模型免费加速下载：Stable Audio Open 的开源，为 AI 音频生成领域带来了新的突破。
【AI大模型前沿】腾讯ARC开源AudioStory：大语言模型驱动的长篇叙事音频生成技术
寻道AI，探索AI无限可能！
11-11 1003
AudioStory是由腾讯ARC实验室开发的一款基于大语言模型（LLM）的长篇叙事音频生成模型，旨在通过自然语言描述生成高质量、连贯的长篇音频内容。它将大语言模型与文本到音频系统相结合，采用“解耦桥接机制”和三阶段渐进训练策略，有效解决了长音频生成中的时序一致性与语义连贯性问题。通过AudioStory，用户只需输入简单的自然语言描述，系统即可自动生成长达150秒的连贯叙事音频。
stabilityai开源音频扩散生成小模型：stable-audio-open-small
直达开源前线，冲冲冲！
05-16 1033
Stable Audio Open Small 是一种基于潜在扩散模型的音频生成工具，能够根据文本提示生成最长11秒、44.1kHz的立体声音频。该模型结合了自编码器、T5文本嵌入和基于变换器的扩散模型（DiT），主要用于音乐和音频生成的研究与实验。训练数据集包含来自Freesound和Free Music Archive的音频记录，经过严格的版权审核。模型在Stability AI Community License下授权，适用于商业用途，但需遵循特定许可要求。尽管模型在生成音效和现场录音方面表现良好，但
【AI大模型前沿】OmniAudio：阿里通义实验室的空间音频生成模型，开启沉浸式体验新时代
寻道AI，探索AI无限可能！
07-09 1926
OmniAudio 是阿里巴巴通义实验室语音团队推出的一种从 360° 视频生成空间音频（FOA）的技术。它通过构建大规模数据集 Sphere360 和创新的模型架构，能够直接从 360° 视频生成标准的 3D 空间音频格式 FOA，捕捉声音的方向性，实现真实的 3D 音频再现。OmniAudio 的训练分为自监督的 coarse-to-fine 流匹配预训练和基于双分支视频表示的有监督微调，显著提升了空间音频生成的性能和沉浸感。
加速音频生成的突破：让AI音频创作从几分钟缩短到几毫秒——来自加州大学圣地亚哥分校和Stability AI的最新研究成果
weixin_49122920的博客
07-09 345
这种移动端优化的意义不仅在于技术本身，更在于它为AI音频生成技术的普及铺平了道路。音乐爱好者可以在地铁上为自己的创作添加背景音效，游戏开发者可以在咖啡厅里测试不同的音效方案，内容创作者可以随时随地为自己的视频添加合适的音频。现在不再是简单的真假判断，而是变成了一个"比较游戏"：对于同样的文本提示，生成器要努力让它生成的音频比真实音频"看起来更真实"，而判别器要努力让真实音频比生成音频"看起来更真实"。更重要的是，这项技术的普及将降低音频创作的门槛，让更多人能够参与到音频创作中来，释放出更多的创意潜能。
【AIGC】2023年生成式AI发展综述
qq_45752541的博客
01-09 2706
2023年AIGC发展综述，涵盖图片、视频、3D生成，数字人等方向
Stability AI发布基于稳定扩散的音频生成模型Stable Audio
deephub
09-18 4703
Stability AI的Stable Audio AI模型标志着人工智能驱动的听觉创造力的重大飞跃。它为音乐和声音爱好者打开了新的视野。在未来还会提供进一步增强模型、数据集和训练技术的体系结构，发布基于Stable Audio的开源模型，并将提供必要的代码，以方便定制音频内容生成模型的训练。
Stable Audio Open 1.0文生音乐教程新手向超简单资源模型分享
yonghuojun的博客
02-27 1253
我们可以看到，这个文生音频的工作流和生成图片的工作流样子差不多，也是要加载扩散模型、VAE模型和文本编码器模型，填写正向提示词和反向提示词，使用采样器和调度器进行生成，最后通过解码器输出音频数据，唯一看起来差别比较大的是这里设置的是音频长度，而不是图片尺寸。没有ComfyUI的同学建议先使用云环境来运行，无需复杂且容易出错的环境配置，待有应用价值了，再到本地折腾也不迟。取值范围是1到15，默认值为6，值越高，生成的内容通常更紧密地符合给定的描述，但可能失去一些创造性。大家好，我是每天分享AI绘画的萤火君！
AIGC在游戏开发中的应用：自动化内容生成实践
AI 原生应用开发的博客
05-06 1196
随着游戏行业进入“开放世界”和“元宇宙”时代，内容生产的复杂度和成本呈指数级增长。传统手工制作模式面临资产规模受限（如《荒野大镖客2》消耗5.6万小时人工建模）、创意迭代缓慢（剧情设计周期长达18个月）等瓶颈。降低30%-70%的美术资产生产成本将NPC对话生成效率提升50倍以上支持动态剧情生成的实时交互体验视觉内容生成（角色/场景/UI）文本内容生成（剧情/对话/任务描述）音频内容生成（音效/背景音乐）玩法生成（关卡设计/数值平衡）核心技术。
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习与集成方法：组合多个学习器来提高整体性能
hiliang521的博客
12-02 842
【模式识别与机器学习（8）】主要算法与技术（下篇：高级模型与集成方法）之 元学习
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 992
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 1106
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
人工智能的基石之三：硬件
最新发布
最简单的方法，解决最实际的问题。
12-05 470
高性能硬件是人工智能的基石，尤其是在机器学习和深度学习领域，海量数据是常态。从充当计算机大脑的中央处理器 (CPU) 到加速计算的图形处理器 (GPU)，硬件的作用是提供处理和运行复杂数据算法所需的原始能力。
AI泡沫什么时候破？
脑极体
12-04 325
而AI企业面对的短期形势，可能更为严峻。而AI公司和技术服务商，为了迎合决策者或拿下B端大项目，往往不计成本的低价竞标，无视人工成本的驻场开发，技术价值让位于领导偏好，企业自身也深陷人效黑洞，沦为挣辛苦钱的技术外包。To B/G不赚钱，To C也卖不上价，所以目前AI领域唯一清晰的商业模式，就是类似英伟达的“卖铲人”模式，卖加速卡和算力的企业成了这一轮AI浪潮的最大受益人。去伪存真之后，资本会冷却，叙事会修正，共识会重新凝聚，而那些持续追问“AI如何创造真实价值”的人，会与行业一同穿越周期，走向成熟。
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
热门推荐
二哈喇子！
12-01 2万+
昇腾平台vLLM部署与性能优化实战摘要
DL00596：基于Transformer的SDN环境流量异常检测
2504_94303570的博客
12-01 354
经过实测，在万兆链路上用64长度窗口，处理延迟能压在15ms以内，基本不影响正常业务。流量异常检测在SDN（软件定义网络）里是个刺激的活儿。传统方法面对动态变化的网络拓扑就像拿渔网抓蚊子，Transformer这种能捕捉长距离依赖的模型倒是很对路子。咱们今天不整虚的，直接上代码看看怎么用PyTorch搞个能跑起来的检测器。我的土办法是每6小时重新做一次归一化参数校准，同时维护一个动态阈值：取最近1小时误差的95分位数作为报警线。这里有个坑：不同维度的特征数值差异太大，持续时间可能几百秒，包数直接上万。
RC稳定音频工具：基于Stability AI的增强型音频生成与MIDI转换平台
RC稳定音频工具[项目代码]是一个基于Stability AI生成音频模型的开源项目分支，专注于增强原始模型在音频生成过程中的实用性、灵活性和用户交互性。该项目不仅继承了Stability AI在深度学习音频合成方面的核心技术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值