Capsule是深度学习之父hinton在2017年提出来的一个较为轰动的网络结构。capsule这个结构主要的特点是:Vector in Vector out——向量进,向量出,而普通的神经元(Neuron)是Vector in Scalar out——向量进,标量出。capsule输出的向量比Neuron输出的标量表达出更丰富的特征。
下图台湾大学的李宏毅老师对capsule解读的slide。
- Neuron的输出标量只能表示到是否存在鸟嘴。
- capsule的输出的向量不仅能表示鸟嘴是否存在,而且还能表示出鸟嘴的方向(如图中向量第一维),鸟嘴的颜色等,鸟嘴的其他特征。
现在是不是开始感受到vector out 的威力了。
李宏毅老师capsule讲解的slide
Capsule算法简介
了解到capsule的强大之后,接下来笔者对Capsule算法实现做一个简单的介绍,感受一下为什么Capsule这么强大。Capsule结构有两个比较重要的创新,如下图所示:
- Squash压缩激活函数