神经网络电路逆向工程研究

神经网络电路逆向工程研究

概述

在深度学习的原始叙述中，每个神经元通过组合前一层特征来逐步构建更抽象、有意义的特征。近年来，这种观点受到了一些质疑，但如果我们认真对待它会发生什么？

InceptionV1是一个经典的视觉模型，拥有约10,000个独特神经元——数量庞大，但仍处于团队可以研究的规模。如果逐个神经元地检查模型，试图理解每个神经元及其之间的连接，会发生什么？电路协作项目旨在找出答案。

文章与评论

研究电路的自然出版单位似乎是关于单个电路或小型特征家族的短篇论文。与正常的机器学习论文相比，这是一个小而不同寻常的主题。

为了促进这一方向的探索，某机构邀请了一系列关于电路的短文，穿插了相邻领域专家的批判性评论。该系列将是一个活文档，随着时间的推移添加新文章，通过开放的slack频道（#circuits）进行组织。该系列中的内容应被视为早期探索性研究。

文章和评论按时间顺序呈现如下：

放大：电路导论

探讨将单个神经元及其之间的连接作为严肃研究对象是否有意义。提出了三个主张：有意义特征的存在、特征之间有意义的电路的存在，以及这些特征和电路的普遍性。还讨论了科学“放大”的历史成功，是否应关注这项研究的定性性质，以及严格研究的方法。

InceptionV1早期视觉概述

对InceptionV1前五层所有神经元的概述，组织成“神经元组”的分类法。为未来深入探讨早期视觉的特定方面奠定了基础。

曲线检测器

每个详细探索的视觉模型都包含检测曲线的神经元。曲线检测器是三篇文章系列中的第一篇，详细探讨这一神经元家族。

神经网络中自然发生的等变性

神经网络自然地学习了许多相同特征的变换副本，通过对称权重连接。

高低频检测器