深度好文 | 神经网络的十字路口

2018年以来，“深度学习泡沫破灭”“区块链才是新的风口”这样的言论不绝于耳。客观来看，深度学习确实进入了一段瓶颈期，时常搞大新闻的DeepMind、OpenAI、谷歌大脑等研究机构上半年拿出的东西也乏善可陈。

 

但从个人角度，我还是喜欢这样安静的AI界，我们离强人工智能还很远，在深度学习的理论研究上还处于婴儿阶段，我希望无论是身处其中的研究人员，还是满怀期待的观众都能认清这个现实。

 

深度学习虽火  但距离真正的“智能”还很遥远

距离2012年AlexNet提出引起深度学习的火热已经过去了六年。在这六年里，该领域取得的成果有目共睹：

• 在架构上，ResNet、Inception、DenseNet等极大拓展了深度学习的特征提取能力；
• 在提高收敛速度上，Batch Normalization、Group Normalization，还有最近的Switchable Normalization的提出，加快了神经网络的收敛速度；
• 在网络泛化上，Dropout的提出让我们在加噪声和设计loss函数惩罚项之外又多了个选择；
• 在强化学习领域，Deep Q Learning和AlphaGo为我们展现了人工智能超越人类的可能；
• 在应用落地上，计算机视觉和自然语言处理领域诞生了成百上千的创业公司；
• 在更大的方向上，GAN的诞生，使其成为CNN以后，神经网络领域最有意思的一个分支，当然，与此同时我们还放出了对抗样本这个“幽灵”。

但时至今日，我们对“智能”的定义依然模糊。有人说，像人一样思考的就是智能。但是，人究竟是怎样思考的，我们至今也没有准确的答案。

 

曾经有一段时间，我非常着迷于“意识”这个东西，按照我当时天真的想法，通过生物神经科学领域对意识衡量的启发，来建立一个对人工神经网络“意识”的衡量机制，如果我们可以写出“意识”的损失函数，就能确定我们的模型有没有真的像人一样在思考。很显然，当时的我完全是一个生物神经科学方面的白痴（现在也是）。

 

后来，通过粗略浏览几篇生物神经领域的论文，并跟几位认知神经学方面的博士进行了相关交流，我发现一个很有意思的现象：生物学上对神经科学的研究几乎都是基于行为的。比如，前段时间有篇很火的RNA跟记忆相关的研究，就是观察海兔对电击的反应来论证记忆有可能是存储在RNA中的（一般理论认为，记忆是分布存储于神经元的链接中的）。这儿我们不掺和记忆的存储的问题，尽管这个问题