52、高级卷积神经网络：从图像到音频的应用探索

高级卷积神经网络：从图像到音频的应用探索

1. 神经网络的可解释性与图像检查

在图像领域，有一种有趣的研究致力于理解神经网络是如何学习并出色地识别图像的，这被称为神经网络的“可解释性”。其中，激活图谱（Activation atlases）是一种很有前景的技术，它旨在展示平均激活函数的特征可视化结果，从而生成一个从网络视角出发的全局图谱。例如，在 这个演示 中，一个用于视觉分类的 InceptionV1 网络揭示了许多完整的特征，如电子设备、屏幕、宝丽来相机、建筑物、食物、动物耳朵、植物和水背景等。网格单元会标注其最支持的分类，并且其大小根据内部平均激活的数量而定。这种表示方式非常强大，因为它使我们能够检查网络的不同层以及激活函数如何响应输入。

2. 视频分类的六种方法

视频分类是一个活跃的研究领域，由于处理视频需要大量数据，内存需求常常达到现代 GPU 的极限，可能需要在多台机器上进行分布式训练。目前，研究人员正在探索以下六种不同复杂程度的方法：
1. 单帧分类法 ：将每个视频帧视为单独的图像，使用 2D CNN 进行处理，将视频分类问题简化为图像分类问题。每个视频帧输出一个分类结果，视频的分类结果取决于各帧中最常选择的类别。
2. 2D CNN 与 RNN 结合法 ：创建一个将 2D CNN 和 RNN 结合的单一网络。CNN 处理图像组件，RNN 处理视频的序列信息。但这种网络由于需要优化的参数数量极多，训练难度很大。