胶囊网络（Capsule）实战——keras算法练习

Capsule是深度学习之父hinton在2017年提出来的一个较为轰动的网络结构。capsule这个结构主要的特点是：Vector in Vector out——向量进，向量出，而普通的神经元(Neuron)是Vector in Scalar out——向量进，标量出。capsule输出的向量比Neuron输出的标量表达出更丰富的特征。
下图台湾大学的李宏毅老师对capsule解读的slide。

• Neuron的输出标量只能表示到是否存在鸟嘴。
• capsule的输出的向量不仅能表示鸟嘴是否存在，而且还能表示出鸟嘴的方向(如图中向量第一维)，鸟嘴的颜色等，鸟嘴的其他特征。

现在是不是开始感受到vector out 的威力了。

 

李宏毅老师capsule讲解的slide

Capsule算法简介

了解到capsule的强大之后，接下来笔者对Capsule算法实现做一个简单的介绍，感受一下为什么Capsule这么强大。Capsule结构有两个比较重要的创新，如下图所示：

• Squash压缩激活函数