【论文笔记】Leveraging Unpaired Text Data for Training End-to-End Speech-to-Intent Systems

最新推荐文章于 2026-01-09 13:21:10 发布
原创 最新推荐文章于 2026-01-09 13:21:10 发布 · 455 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语音识别 #深度学习 #人工智能

该论文提出了一种利用未配对文本数据训练端到端语音到意图（S2I）系统的方法。通过迁移学习，结合speech-to-intent和text-to-intent模型，利用丰富的text-intent数据补充speech-intent数据的不足。通过TTS系统进行数据增强，并使用预训练的text模型指导speech-intent模型，提高端到端系统的性能。实验表明，即使在少量speech-intent数据下，这种方法也能实现较好的准确率。

题目

Leveraging Unpaired Text Data for Training End-to-End Speech-to-Intent Systems

链接

https://arxiv.org/pdf/2010.04284.pdf

标签

Speech-to-intent, spoken language understanding, end-to-end systems, pre-trained text embedding, synthetic speech
augmentation

Contributions

  • 运用迁移学习的知识，联合训练speech-to-intent 模型和text-to-intent模型，利用较多的text-intent数据作为基于speech-intent的端到端S2I(speech-to-intent)模型的补充
  • 为了解决speech-intent数据集的稀缺，通过TTS系统把text-intent数据转换为speech-intent数据，以达到数据增强的目的。

亮点与启发

由于深度神经网络极度依赖于大量的数据来驱动得到较好的效果，而对于端到端的S2I系统， intent-labeled speech data太过稀缺了，为了比肩传统的模型（speech-text-intent）,需要设法弥补数据稀缺的问题。
为解决此问题的答案就是——迁移学习。

基于Text-intent类数据较多这一现状，使用类似bert的预训练模型，对基于speech-intent的声学模型进行“指导”，将知识迁移到

最低0.47元/天 解锁文章
用于端到端语音识别的文本数据多任务训练
暮木的博客
03-04 1221
论文 CIF: CONTINUOUS INTEGRATE-AND-FIRE FOR END-TO-END SPEECH RECOGNITION 摘要 提出一个新颖的软单调对齐机制，它受尖峰神经网络中的“积分并发射”模型的启发，并在编码器-解码器框架中使用，它由连续函数组成，因此被称为：连续积分并发射（CIF）。 CIF应用于ASR任务，不仅显示简洁的计算，还支持在线识别和声边界定位，因此适用于各种ASR场景。还提出了几种支持策略来缓解基于CIF模型的独特问题 引言 ...
《Style Transformer: Unpaired Text Style Transfer without Disentangled Latent Representation》浅析
SummerHmh的博客
06-19 2635
文章目录摘要发展模型问题描述步骤模型训练机制代码解析效果 摘要 传统的文本样式转换通常是通过分解隐空间中的内容和风格的方式。这种方式存在如下两种问题： 很难从句子的语义中完全剥离样式信息 基于编解码器模式的RNN难以保持长程依赖，导致内容保真度有损 本文提出一种不用隐空间假设，基于注意力机制的模型——Style Transformer，能够较好的保持文本内容，同时很好的转化文本风格 发展 文本...
speech recognition中使用PendingIntent
坚持,淡定
03-26 166
http://stackoverflow.com/questions/4530472/widget-that-calls-speech-recognition-app http://stackoverflow.com/questions/6466328/recognizerintent-how-to-add-a-bundle-to-a-pending-intent   // this...
安卓系统内置语音识别技术——Speech-to-Text的研究与实践
wlred1980的博客
04-10 5598
本文聚焦于安卓系统内置的Speech-to-Text技术，对其基本概念、工作原理、具体使用方法、性能优劣以及典型应用场景进行深入剖析，并结合实例代码阐述其在安卓开发中的应用。安卓系统内置的Speech-to-Text功能作为一项基础的语音识别服务，为开发者提供了便捷的语音转文本解决方案，有助于提升移动应用的用户体验和交互效率。
语音识别中半监督与无监督训练
Blogs of TrainerNN
12-06 2639
背景 端到端的语音识别需要大量成对的语音-文本数据，以获得更好的performance。然而目前来说成对的数据是相对较少的 相比于有标签的语音文本对，无标签的语音数据更多 ASR模型的准确率依赖语言模型的rescoring，而大量的纯文本数据可以用于语言模型的构建 无监督与半监督的作用 充分利用未成对的数据，通过预训练等方法，对模型整体或部分网络进行“强化”。 具体方法 无监督(unsupervised) ...
【NLP】ACL-2019 录用论文
热门推荐
zkq_1986的博客
09-04 2万+
LONG PAPERS (MAIN CONFERENCE) SphereRE: Distinguishing Lexical Relations with Hyperspherical Relation EmbeddingsChengyu Wang, XIAOFENG HE and Aoying Zhou Learning from Dialogue after Deployment: Fee...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
【CVPR2021】论文汇总列表--Part1
TomRen
05-01 2937
CVPR2021 论文汇总
论文阅读：Text-to-Text Pre-Training for Data-to-Text Tasks
咕噜咕噜
05-28 1196
文章简介： 这篇文章内容很简单，作者对最近发布的 【1】T5模型应用data-to-text领域的数据进行微调，发现在WebNLG，MultiWoz，ToTTo三个数据集上都优于目前的性能；作者提出可能这种只采用预训练模型，不需要进行现在文本生成领域流行的规划生成【2】【3】，词约束和复制机制方法，同样也能取得比较好的文本生成效果； 主要内容： 预训练： 实验T5模型：Small (60 million parameters), Base (220 million), Large (770 million)
[CVPR 2024] Learning Disentangled Identifiers for Action-Customized Text-to-Image Generation
Joselynzhao
01-31 1075
我们研究了一个尚未开发的文本到图像的生成任务，即动作定制。为了理解任务的挑战，我们首先可视化现有的主题驱动方法在从动作不可知论上下文特征的纠缠中提取动作相关特征方面的不足。然后，我们提出了一种名为ADI的新方法，从给定的图像中学习特定于动作的标识符。为了增加与操作相关的知识的适应性，ADI使用分层标识符令牌扩展了反转过程。
[CVPR 2024]InstantBooth: Personalized Text-to-Image Generation without Test-Time Finetuning
Joselynzhao
02-01 1164
我们提出了一种方法，该方法扩展了现有的预训练文本到图像扩散模型，用于个性化图像生成，而无需测试时间微调。其核心思想是将输入图像转换为通用概念学习的全局令牌，并引入适配器层来合并丰富的局部图像表示，以生成精细的身份细节。大量的结果表明，我们的模型可以在未见过的概念上生成语言对齐和身份保留的图像，只需一次向前传递。这种显著的效率改进将使各种实际的个性化应用成为可能。
【论文阅读笔记】Leveraging Future Trajectory Prediction for Multi-Camera People Tracking
Geekaka_的博客
03-12 1441
这篇是CVPR2023年的论文，提出了一种实时，低计算成本的**多相机多目标(MCMT)**跟踪系统。第一次仔细阅读MCMT相关的文章，有不足和表述理解错误之处望大家多多指正。
Android:使用Speech To Text API进行语音到文本转换
zll793027848的专栏
05-26 4545
Android有一个非常酷的特性很多开发者都还不知道。Any.DO之类应用的语音到文本转换功能很有创意。在现在Siri的世界里，语音指令是极其重要的。Android原生提供Speech To Text功能，为什么不把它用在我们的程序中！ 我将会展示如何在程序中使用Android的Speech To Text API，现在开始写我们的demo程序。 Demo程序
【论文笔记】ContextNet: Improving Convolutional Neural Networks for ASR with Global Context
Blogs of TrainerNN
10-23 2088
题目 ContextNet: Improving Convolutional Neural Networks for Automatic Speech Recognition with Global Context 链接 https://arxiv.org/pdf/2005.03191.pdf 标签 Speech Recognition, CNN Contributions 亮点与启发 文章指出： 文章重点 实验结果 持续记录关于端到端语音识别论文与资料： https://github.com/z
【论文笔记】Improving Transformer-based End-to-End Speech Recognition with CTC and LM Integration
Blogs of TrainerNN
10-22 786
题目： Improving Transformer-based End-to-End Speech Recognition with Connectionist Temporal Classification and Language Model Integration 链接： http://www.isca-speech.org/archive/Interspeech_2019/abstracts/1938.html 标签： Speech Recognition, Transformer, CTC, LM
【论文笔记】Learn Spelling from Teachers: Transferring Knowledge from LM to Seq-to-Seq Speech Recognition
Blogs of TrainerNN
10-22 345
题目 Learn Spelling from Teachers: Transferring Knowledge from Language Models to Sequence-to-Sequence Speech Recognition 链接 https://arxiv.org/pdf/1907.06017.pdf 标签 知识蒸馏, 外部语言模型, 端到端, sequence-to-sequence Contributions 基于知识蒸馏的思想，在训练阶段，以一个预训练的基于RNN的LM作为“老师”模型
VLM—Transformer
2301_79164062的博客
01-09 280
这个公式承担了自注意力机制中最关键的权重分配任务，分为两步执行，每一步都有明确的数学和工程意义。举例例如 C E F是三个四条信息的输入端 3x4 那么。Wq要求假设是输出2的那就结果是3x2的。Wk要求假设是输出2的那就结果是3x2的。Wq要求假设是输出4的那就结果是3x4的。，对于整句话每一个单词对不同维度的影响。但是3就是输入的词条。
让陪伴不缺席，让安心常在线——智慧康养服务APP功能一览
最新发布
2501_92173765的博客
01-09 197
摘要：专为老年人设计的智慧康养APP，整合AI技术提供情感陪伴、记忆珍藏与安全守护三大核心功能。AI虚拟子女通过语音交互实现温情陪伴；数字回忆录智能整理珍贵记忆；智能监测系统保障老人安全。采用极简适老设计，支持多感官交互，让科技服务真正贴合老年需求，实现"老有所伴、老有所安"。
LLM4GEN:Leveraging Semantic Representation of LLMs for Text-to-Image Generation
08-08
大型语言模型（LLMs）通过其强大的语义表示能力，为文本到图像生成（Text-to-Image Generation, T2I）提供了新的优化方向。传统的文本到图像生成模型依赖于浅层文本编码器（如BERT、CLIP）来提取文本特征，而这些编码器的语义理解能力有限，难以捕捉文本中复杂的上下文信息和抽象概念。LLMs 的引入可以显著增强文本的语义建模能力，从而提升生成图像的质量与文本-图像对齐度。 ### 语义表示增强的文本编码 LLMs 能够生成丰富的上下文感知文本嵌入（context-aware text embeddings），相比于传统编码器，能更准确地表达文本中的复杂语义。通过将 LLM 提取的文本嵌入作为文本条件输入到扩散模型（Diffusion Models）或变分自编码器（VAE）中，可以提升生成图像与文本描述之间的语义一致性[^1]。 例如，在文本描述“一只在雪地中奔跑的金毛犬”中，LLMs 能够更精确地理解“雪地”、“奔跑”、“金毛犬”之间的语义关系，从而引导图像生成模型生成更符合描述的图像内容。 ### 多模态语义对齐 在文本到图像生成任务中，语义对齐是关键挑战之一。LLMs 可以与视觉编码器（如 Vision Transformer）结合，构建统一的多模态语义空间。通过在训练过程中对齐文本和图像嵌入空间，可以提升模型对跨模态语义关系的理解能力。例如，BuboGPT 构建了一个共享的语义空间，以实现对图像、文本和音频等多模态内容的全面理解[^2]。类似方法可应用于文本到图像生成任务中，以增强生成图像与文本描述之间的语义一致性。 ### 上下文扩展与推理能力 LLMs 具备强大的上下文建模和推理能力，可以用于扩展输入文本的隐含语义。例如，在输入文本较短或描述不够详细的情况下，LLMs 可以通过上下文推理生成更丰富的文本描述，从而为图像生成模型提供更详细的语义指导。这种扩展机制可以显著提高生成图像的细节丰富度和语义完整性。 ### 代码示例：基于 LLM 的文本嵌入提取 以下是一个使用 Hugging Face Transformers 库从 LLM 提取文本嵌入的示例： ```python from transformers import AutoTokenizer, AutoModelForCausalLM # 加载预训练 LLM（如 GPT-3 的简化版本） tokenizer = AutoTokenizer.from_pretrained("gpt2") model = AutoModelForCausalLM.from_pretrained("gpt2") # 输入文本 text = "A red car driving on a mountain road" # 编码文本 inputs = tokenizer(text, return_tensors="pt") # 获取文本嵌入 with torch.no_grad(): outputs = model.transformer(**inputs) text_embedding = outputs.last_hidden_state.mean(dim=1) # 取平均作为文本嵌入 print(text_embedding.shape) # 输出嵌入维度 ``` 该文本嵌入可作为条件输入送入扩散模型或 GAN 架构中，以驱动图像生成过程。 ### 未来发展方向 结合 LLM 的语义表示能力和扩散模型的生成能力，未来的研究方向包括： - 更高效的跨模态对齐方法 - 基于 LLM 的文本扩展与语义推理机制 - 面向特定领域（如艺术创作、建筑设计）的定制化文本到图像生成系统
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值