Learning to Localize Sound Sources in Visual Scenes: Analysis and Applications

简介

提出一种无监督算法来解决视觉场景中声源的定位问题。提出带有注意力的双流结构网络，收集了新数据集。由于无监督方法会产生错误，因此将上述方法扩充为有监督和半监督方法。未考虑运动的情况。

贡献

（1）介绍了一种学习框架，利用声音信息引导的注意力机制，从配对的声音和视频帧中定位声源。声源定位可以与给定的声音输入交互。
（2）提出了一个统一的端到端深度卷积神经网络结构，它适应了无监督、半监督和全监督学习。
（3）收集并标注了一个新的声源定位数据集，它提供了有监督的信息，便于定量和定性分析。
（4）定量和定性地证明了基于学习的声源定位不能用纯无监督的方法来正确解决，而是可以用少量的监督数据来解决。
（5）学习的embedding能够表示跨域样本中的语义上下文。
（6）提出了一种声音引导的360°视频和360°内容浏览显著性预测的新应用
（7）给出了相当多有重要意义的参考文献（relate work生理学心理学、音视融合技术）

网络结构

音视频分别处理

音视网络

声音网络： 以原始波形作为输入，一共10层，其中卷积结构为8层，结构与SoundNet类似，1000个滤波器，之后是GAP，输出1000维特征${\text{f}}_s$，${\text{f}}_s$再送入ReLU+FC，输出512维特征$\text{h}$。
视觉网络： 由特征提取器和定位模块组成，特征提取器使用VGG-16的conv5_3层的512维输出$\text{V}$，随后在定位模块与$\text{h}$相互作用，返回声源的置信度图和特征向量$\text{z}$，$\text{z}$再通过两个FC层生成${\text{f}}_v$

定位网络

将$H’\times W’\times D$的视觉特征变形为$M\times D$的$\text{V}=[{\text{v}}_1;...;{\text{v}}_M]$，对于每个i∈{ 1,...,M}i∈\{1,...,M\}i∈{ 1,...,M}，

$g_{\text{att}}$使用内积操作，可以解释为度量两个向量之间的余弦相似度。
为了抑制负相关，提出了

其中v和h被应用了L2正则化。

$g_{\text{cos}}$和$g_{\text{ReLu}}$貌似在后文没出现过，可能$g_{\text{cos}}$就是$g_{\text{att}}$，但不知道为啥要区分写

我们把视觉特征向量$\text{z}$转换为视觉表征${\text{f}}_v$。我们调整${\text{f}}_v$使其与从声音网络中获取的声音特征${\text{f}}_s$具有可比性，如此我们学习特征来共享embedding空间。在学习阶段，反向传播使得$\text{z}$与声音上下文相关。重要的是，$\text{z}$由$\alpha$和$\text{v}$参数化，而$\alpha$是唯一受声音上下文限制的变量，$\alpha$学会了以包含声音上下文的方式调整$\text{z}$，即学习定位声音。

就是说：${\text{f}}_v$是$\text{z}$经两层FC得来的，而$\text{z}$又是由