speech2speech论文汇总

已于 2025-08-05 21:20:02 修改
阅读量480 收藏 10
点赞数 12
CC 4.0 BY-SA版权
文章标签： 深度学习
于 2025-07-31 13:51:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40168949/article/details/149779111

文章目录

speech2speech

  • 端到端集成之后的大脑思考能力
  • 多口音/方言输入的理解（speech 数据）
  • 生成的精细控制（情感，副语言）

评测工具

step-audio360

  • 137条数据
  • 评测数据集：覆盖singing, creativity, role-playing, logical reasoning, voice understanding（包括唤醒）, voice instruction following, gaming, speech emotion control, and language ability

EmergentTTS-Eval

step-audio2 [2025.6]

abstract

  • 增强副语言的理解能力；和step-audio相比模型size 更小，引入CoT和RL 改进效果，引入RAG改善幻觉问题
  • 6800 亿个 token 的文本数据和 800 万小时的真实和合成音频数据上训练
  • 补充了 speech2speech translation的任务；

related work

Step-audio [2025.2]

在这里插入图片描述

abstract

  • 训练130B的模型
  • model_arch : 用130B的模型，生成数据，用于3B 模型的蒸馏训练，小模型具有很强的指令跟随能力；
  • 模型能力：
    • 指令控制：情感，方言（粤语，四川话），（RAP/Singing、无伴奏合唱）
    • 增强智能：agent 配合
  • 两种音频token
    • parallel linguistic (16.7Hz, 1024-codebook): 音素和语言特征，Paraformer encoder + VQ
    • semantic (25Hz, 4096-codebook) :语义和粗粒的声学特征。cosyvoice2 25hz token

related work

  • Llama-Omni
  • Freeze-Omni
  • MinMo
  • Moshi
  • GLM4-Voice
  • LUCY 基于mini-omini 的架构，针对LLM 输出冗长的回复，不适配对话场景进行优化

method

架构：AQTA（音频输入、文本输出）+ TTS 框架

最低0.47元/天 解锁文章

200万优质内容无限畅学
林林宋
关注
deepspeech 1 （百度 2014 论文解读）
大数据AI笔记
11-15 1822
论文：https://arxiv.org/pdf/1412.5567.pdf 题目：Deep Speech: Scaling up end-to-end speech recognition 摘要 我们提出了使用端到端深度学习开发的最先进的语音识别系统。我们的体系结构比传统的语音系统要简单得多，传统的语音系统依靠费力地设计的处理管道。当在嘈杂的环境中使用时，这些传统系统的性能也往往很差。相反，我们...
论文阅读-Causality Guided Disentanglement for Cross-PlatformHate Speech Detection
qq_40671063的博客
10-20 1292
目前检测方法往往过于狭隘地关注特定的语言信号或某些词类的使用。当某一平台缺乏用于训练的高质量注释数据时，就会出现另一个重大挑战，需要能适应不同传播变化的跨平台模型。研究引入了一种跨平台仇恨言论检测模型，该模型能够在一个平台的数据上进行训练，并在多个未见过的平台上进行泛化。实现良好跨平台泛化的方法之一是将输入表征分解为不变特征和平台相关特征。学习在不同环境中保持不变的因果关系，可以极大地帮助理解仇恨言论中的不变表征。通过将。
论文研究15：TCNN for speech enhancement
qq_43473149的博客
12-23 1064
论文研究13：TCNN: TEMPORAL CONVOLUTIONAL NEURAL NETWORK FOR REAL-TIME SPEECH ENHANCEMENT IN THE TIME DOMAIN abstract 这项工作提出了一种用于时域实时语音增强的全卷积神经网络（CNN）。 提出的CNN是基于编码器-解码器的体系结构，在编码器和解码器之间插入了一个附加的时间卷积模块（TCM）。 我们将此架构称为时间卷积神经网络（TCNN）。 TCNN中的编码器创建一个嘈杂的输入帧的低维表示。 TCM使用因果
论文研究1：TIME DOMAIN AUDIO VISUAL SPEECH SEPARATION
qq_43473149的博客
11-21 978
论文研究1：TIME DOMAIN AUDIO VISUAL SPEECH SEPARATION 本文指南 本文翻译了腾讯于2019年发布的音视频混合的语音分离方法的论文《TIME DOMAIN AUDIO VISUAL SPEECH SEPARATION》。本文仅供参考。如有错误，烦请指正。 ABSTRACT 视听多模式建模已被证明在许多与语音相关的任务中是有效的，例如语音识别和语音增强。 本文介绍了一种新的时域视听架构，用于从单声道混合物中提取目标说话者。该体系结构概括了以前的TasNet（时域语音分离
语音合成综述Speech Synthesis
noobiee的博客
11-24 6042
语音信号的产生分为两个阶段，信息编码和生理控制。首先在大脑中出现某种想要表达的想法，然后由大脑将其编码为具体的语言文字序列，及语音中可能存在的强调、重读等韵律信息。经过语言的组织，大脑通过控制发音器官肌肉的运动，产生出相应的语音信号。其中第一阶段主要涉及人脑语言处理方面，第二阶段涉及语音信号产生的生理机制。 从滤波的角度，人体涉及发音的器官可以分为两部分：激励系统和声道系统。激励系统中，储存于肺部的空气源，经过胸腔的压缩排出，经过气管进入声带，根据发音单元决定是否产生振动，形成准周期的脉冲空气激励流或
论文学习——DEMENTIA ASSESSMENT USING MANDARIN SPEECH WITH AN ATTENTION-BASED SPEECH RECOGNITION ENCODER
Blackoutdragon的博客
02-22 1122
论文全称：DEMENTIA ASSESSMENT USING MANDARIN SPEECH WITH AN ATTENTION-BASED SPEECH RECOGNITION ENCODER 备注： 未收录，代码比较详尽，台湾清华大学的， 这篇文章和我一样，也是自主收集数据集，并创建对应的分类模型 除此之外，这篇文章，也是将关注点集中在针对中国话的AD检测，创新应用领域。
【论文笔记之 YIN】YIN, a fundamental frequency estimator for speech and music
myhappyness的专栏
02-26 1783
本文对 Alain de Cheveigne´ 等人于 2002 年在 The Journal of the Acoustical Society of America 上发表的论文进行简单地翻译。如有表述不当之处欢迎批评指正。欢迎任何形式的转载，但请务必注明出处。
单通道语音增强Speech enhancement文献汇总
dakenan1的博客
08-22 4376
论文一：基于注意机制的神经网络单通道语音增强方法 核心工作：提出基于注意机制的单通道语音增强方法，关注音频流的重要语音成分并适当降低对噪声、干扰的注意力。 注意力机制（attention-based）： 1. 注意力机制需要决定整段输入的哪个部分需要更加关注； 2. 从关键的部分进行特征提取，得到重要的信息。 3. RNN模型在预测增强帧时隐式地学习过去输入特征的权重，而注意机制计算过去帧与要增强...
语音识别论文汇总
weixin_44885180的博客
02-13 3566
Speech Recognition Papers Streaming ASR RNA based RNN-T based Attention based Unified Streaming/Non-streaming models Non-autoregressive (NAR) ASR ASR Rescoring / Spelling Correction (2-pass decoding) On-device ASR Noisy Student Training(Self Trainin..
语音合成(TTS)论文优选：视觉文本语音合成vTTS: visual-text to speech
低调奋进
03-29 4118
本文提出了视觉文本到语音（vTTS），这是一种从视觉文本（即，文本作为图像）合成语音的方法。vTTS 能够生成自然度与传统 TTS 相当或更好的语音，它无需额外的标签和架构就可以将视觉文本中的重点和情感属性转移到语音中，并且对于生僻文字及集外文字更加鲁棒。
使用yolo11训练饮料瓶盖缺陷检测质量检测数据集VOC+YOLO格式1432张5类别步骤和流程
FL1623863129的博客
08-03 737
训练完成后，最佳权重保存路径为：runs/detect/train/weights/best.pt，如果多次运行命令runs/detect/train2,runs/detect/train3文件夹生成只需要到数字最大文件夹查看就可以找到模型。经过上面训练可以使用模型做一步部署，比如使用onnx模型在嵌入式部署，使用engine模型在jetson上deepstream部署，使用torchscript模型可以在C++上部署等等。通过比较不同模型在这些指标上的表现，可以判断哪个模型在实际应用中可能更有效。
CS231n2017 Lecture10 RNN笔记
Se_ren_di_pity的博客
08-02 724
循环神经网络(Recurrent Neural Networks)，可以实现不同类型的输入/输出如：1 to 1：固定输入得到固定输出1 to many: 比如输入固定size的图片，输出的是可变长度的序列，比如一段描述文本，长度随着单词数而变many to 1: 比如输入一段可变长度的文本，输出其情感分类向量many to many: 比如翻译任务。
深度学习（鱼书）day08--误差反向传播（后三节）
weixin_66162442的博客
08-01 919
本文介绍了深度学习中的误差反向传播算法，重点讲解了激活函数层和Affine层的实现。在激活函数层部分，详细分析了ReLU层和Sigmoid层的前向传播和反向传播过程，包括数学表达式和Python实现代码。ReLU层通过mask机制实现开关功能，Sigmoid层则通过计算图分解步骤进行求导。在Affine层部分，解释了矩阵乘积运算的仿射变换性质，展示了单个数据和批处理数据的实现方式，并给出了相应的类实现代码。文章通过计算图直观地展示了各层的运算过程，并强调了矩阵运算中形状匹配的重要性。
CS231n2017-Lecture9经典CNN架构笔记
Se_ren_di_pity的博客
08-01 893
首先回顾一下LeNet-5，该网络结构为[CONV-POOL-CONV-POOL-FC-FC]，卷积层使用的的卷积核，步长为1,；池化层使用的size，步长为2。
深度学习-梯度爆炸与梯度消失
weixin_74126320的博客
08-01 877
深度学习训练中常遇到梯度消失和梯度爆炸问题。梯度消失导致深层网络参数难以更新，表现为训练停滞；梯度爆炸则使参数剧烈波动，导致训练失控。解决方案包括使用ReLU激活函数、梯度裁剪等技术。此外，模型推理时需调用model.eval()切换Dropout和BatchNorm层至推理模式，常与torch.no_grad()配合使用以保证稳定性和效率。这些方法对CV、NLP等任务至关重要。
CIFAR10实战
zj_203240104的博客
08-01 429
本文展示了使用PyTorch对CIFAR10数据集进行分类任务的完整流程。首先通过torchvision下载并预处理数据，构建数据加载器。初始模型采用简单的卷积神经网络结构，包含三个卷积层和两个全连接层，训练10个周期后准确率仅为73%。为提高性能，作者对模型进行了优化，在卷积层后添加批归一化(BatchNorm)和ReLU激活函数，以加速训练并提高模型泛化能力。实验使用TensorBoard可视化训练过程和结果，包括损失和准确率曲线。代码展示了完整的深度学习流程，从数据加载、模型构建、训练到优化改进。
基于深度学习的医学图像分析：使用变分自编码器（VAE）实现医学图像生成
最新发布
qq_74383080的博客
08-03 540
本文介绍了基于变分自编码器（VAE）的医学图像生成技术。首先概述了医学图像分析的定义及其在疾病模拟、图像增强和数据增强中的应用场景。然后详细讲解了VAE的理论基础，包括其编码器-解码器架构和生成多样性优势。文章提供了完整的代码实现流程：从环境准备、数据加载预处理，到VAE模型定义、训练和评估方法，最后展示了生成图像的可视化效果。该技术能够生成多样化的医学图像，支持医学研究和临床应用。读者可通过调整模型结构和参数进一步优化生成效果。
深度学习·mmsegmentation基础教程
2301_80132162的博客
08-02 1016
继承类别和RGB标签的映射关系指定图像扩展名、标注扩展名seg_map_suffix='.png', # 标注mask图像的格式reduce_zero_label=False, # 类别ID为0的类别是否需要除去**kwargs)# 类别和对应的 RGB配色# 指定图像扩展名、标注扩展名seg_map_suffix='.png', # 标注mask图像的格式reduce_zero_label=False, # 类别ID为0的类别是否需要除去**kwargs)
【深度学习新浪潮】什么是专业科研智能体？
智能守恒_HengAI
08-02 274
专业科研智能体是一类基于人工智能技术、专为科学研究场景设计的智能系统，其核心目标是通过自动化和智能化手段辅助科研人员完成从文献调研、实验设计到数据分析的全流程任务。多模态数据理解：能够解析科学文献中的公式、图表、实验数据等复杂内容，并整合跨学科知识（如分子结构、基因序列、物理模型等）。自主任务规划：通过自然语言交互接收科研需求，动态拆解任务并调用外部工具（如计算模拟软件、数据库、实验室设备），形成可执行的研究路径。科学推理与创新。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值