Utterance-level Aggregation For Speaker Recognition In The Wild笔记

最新推荐文章于 2021-10-27 14:59:52 发布
最新推荐文章于 2021-10-27 14:59:52 发布
阅读量1.3k 收藏 4
点赞数 1
分类专栏： 语音 Deep Learning 文章标签： speaker recognition
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Suan2014/article/details/89010614
版权

论文链接：https://arxiv.org/abs/1902.10107v1
开源代码：http://www.robots.ox.ac.uk/~vgg/research/speakerID/

网络结构

在这里插入图片描述

  • 输入：每帧257维向量，256维的频率量+1维的DC量
  • 主干网络：Thin-ResNet，提取frame-level特征
  • NetVLAD或GhostVLAD层：将frame-level的特征转换成utterance-level特征。大多数算法是采用Average pooling层直接对帧维度进行平均，这样做的缺点是每帧的weight是一样的，但是实际上每帧对结果的contribution肯定是不一样的，比如有说话的帧肯定比没说话帧的contribution高，本文采用的方法其实是自动学习给予每帧不同的权重。
  • trainning loss:标准的softmax loss和additive margin softmax(AM-Softmax)
《论文阅读》SAPBERT: Speaker-Aware Pretrained BERT for Emotion Recognition in Conversation
MyHeartWillGoOn
02-13 1022
你是否也对于理解论文存在困惑？你是否也像我之前搜索论文解读，得到只是中文翻译的解读后感到失望？小白如何从零读懂论文？和我一起来探索吧！今天为大家带来的是《SAPBERT: Speaker-Aware Pretrained BERT for Emotion Recognition in Conversation》出版：mdpi Algorithms时间： 2023类型：对话中的情感识别特点：turn 和 spearker 数量不受限制+多任务学习（speaker 预测、掩码、回复生成）
Multi-modal speech emotion recognition using self-attention mechanism and multi-scale fusion framwor
weixin_42103947的博客
10-19 2152
《基于自注意机制和多尺度融合框架的多模态语音情感识别》(Multi-modal speech emotion recognition using self-attention mechanism and multi-scale fusion framework)
Utterance-Level Aggregation For Speaker Recognition In The Wild
qq_41048571的博客
08-02 404
本文使用NetVLAD，将frame-level聚合为utterance-level。 in the wild: 4s以上的语音 实现流程 将通过Thin ResNet的frame-level通过NetVLAD聚合为utterance-level。 网络输入为R（257×T×1），输出变为了R（1×T/32×512） NetVLAD: 输出一个K×D的矩阵V，K为聚类类别数，D为每一类的维数。 第一项代表了这一帧特征在类别k的权重，第二项代表了其与类中心的残差。 最后将每帧向量L2标准化后连接起来。 在
2019-utterance-level end-to-end language identification using attention-based cnn-blstm--icassp 2019
Grace_yan的博客
12-20 380
Weicheng Cai1,2,Danwei Cai1, Shen Huang3and Ming Li1∗ 1Data Science Research Center, Duke Kunshan University, Kunshan, China 2School of Electronics and Information Technology, Sun Yat-sen University, ...
语音算法论文中frame-level，segment-level，utterance-level fearure
qq_35576225的博客
10-27 3201
语音是非平稳信号，通过分帧可以认为每帧信号近似为平稳信号，然后就可以在一帧上提取特征。这种就叫做帧级别特征。segmental level的特征应该是指多帧特征，比如音素特征就是segmental level的，而utterance level的就是指一句话上的特征，就有很多帧，例如说话人的特征就是utterance level的。 ...
检索式对话学习笔记
IOT_victor的博客
10-22 1349
1、文本相似度 编辑距离https://blog.youkuaiyun.com/wxgxgp/article/details/104184418 import Levenshteinhttps://blog.youkuaiyun.com/IOT_victor/article/details/106670275 simhashhttps://blog.youkuaiyun.com/wxgxgp/article/details/104106867 余弦相似度https://blog.youkuaiyun.com/wxgxgp/articl...
论文阅读 （图像地理定位）NetVLAD: CNN architecture for weakly supervised place recognition
古承风的博客
04-13 2734
[1] Arandjelovic R, Gronat P, Torii A等. NetVLAD: CNN architecture for weakly supervised place recognition[J]. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2016, 2016-Decem: 5297–5307. 背景知识 典型场景 图像地理定位的.
intent-utterance-file-parser:解析意图发声文件，例如Alexa Skills Kit Sample Utterance文件
05-08
npm install intent-utterance-file-parser 用法 IntentUtterances.txt GetHoroscope what is the horoscope for {pisces|Sign} GetHoroscope what will the horoscope for {leo|Sign} be {next tuesday|Date} ...
java8集合源码-alexa-utterance-generator:如果您想为您的Alexa技能生成成百上千的变体话语，请使用此工具
06-04
java8集合源码Alexa 技能表达和模式生成器 (V2.0) 这是一个方便的工具，许多开发人员已经使用它来为他们的自定义 Alexa 技能创建更好的交互模型。 该工具引入了一种易于阅读的语法，只需编写几行即可生成成百上千的...
Alexa-Utterance-Generator：用GUI生成语音交互新体验
资源摘要信息:"Alexa-Utterance-Generator是一个通过简单的图形用户界面（GUI）提供给用户生成大量Alexa对话（utterances）的工具。该工具为开发人员和内容创作者提供了方便，以创建和测试Alexa技能的自然语言理解...
论文阅读笔记-《GhostVLAD for set-based face recognition》
zc199329的博客
11-09 2072
目录 简介： 涉及的知识点： 创新点： 前言： 本文改进： 简介： 首先，本文目的是利用人脸集合，采用基于模板的人脸识别方法，改进NetVLAD提取人脸模板特征向量。 涉及的知识点： 1.VLAD：局部聚合描述子向量，利用硬分配。 2.NetVLAD:结合CNN的VLAD网络结构，利用软分配。 3.GhostVLAD:本文，在聚类中心中加入ghost 聚类中心，削弱低质量图像...
DeepMind&VGG提出基于集合的人脸识别算法GhostVLAD,精度远超IJB-B数据集state-of-the-art
as472780551的博客
11-08 2626
转载自：https://mp.weixin.qq.com/s/R1hdkPTdFCo7JvOKNcEzJg 人脸识别应用中，很多场景能够获取某一个体的多幅人脸图像的集合（比如在监控视频中），使用人脸图像集来做识别，这个问题被称为基于模板的人脸识别（template-based face recognition）。 对于多幅图像，当然可以使用单幅人脸图像的识别方法，综合多幅图像的识别结果确定最终...
淘宝短视频多模态融合识别
淘系技术
08-04 3528
淘宝视频是如何分类的？又是如何保持不同类别视频样本得到相对均衡？又是如何应用的？前言介绍▐背景在推荐系统中，分类体系在内容圈选、招稿以及投放的过程中都发挥着重要的作用。产品运营可以借助...
GhostVLAD for set-based face recognition
weixin_30421809的博客
07-17 256
GhostVLAD for set-based face recognition中提到了文章解决的是template-basedface recognition。 文章的3个贡献： 提出一种网络来聚合并embed网络输出的面部特征向量至一个compact的固定长度的表示。 提出一个新奇的GhostVLAD层，其中包含ghost clusters，不对聚合做贡献。文中展示了一种高质量的...
icassp2020--TEXT-INDEPENDENT SPEAKER VERIFICATION WITH ADVERSARIAL LEARNING ON SHORT UTTERANCES
Grace_yan的博客
04-22 1545
TEXT-INDEPENDENT SPEAKER VERIFICATION WITH ADVERSARIAL LEARNING ON SHORT UTTERANCES Kai Liu, Huan Zhou Artificial Intelligence Application Research Center, Huawei Technologies Shenzhen, PRC ABSTRACT 摘...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

勤劳的凌菲

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值