胶囊网络(Capsule)实战——keras算法练习

胶囊网络(Capsule)由hinton提出,特点是向量输入和输出,能表达更丰富特征。本文介绍了Capsule的Squash激活函数和Dynamic Routing动态路由机制,并通过Keras实现了一个文本分类模型,展示其在特征处理上的优势。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Capsule是深度学习之父hinton在2017年提出来的一个较为轰动的网络结构。capsule这个结构主要的特点是:Vector in Vector out——向量进,向量出,而普通的神经元(Neuron)是Vector in Scalar out——向量进,标量出。capsule输出的向量比Neuron输出的标量表达出更丰富的特征。
下图台湾大学的李宏毅老师对capsule解读的slide。

  • Neuron的输出标量只能表示到是否存在鸟嘴。
  • capsule的输出的向量不仅能表示鸟嘴是否存在,而且还能表示出鸟嘴的方向(如图中向量第一维),鸟嘴的颜色等,鸟嘴的其他特征。

现在是不是开始感受到vector out 的威力了。

 

李宏毅老师capsule讲解的slide

Capsule算法简介

了解到capsule的强大之后,接下来笔者对Capsule算法实现做一个简单的介绍,感受一下为什么Capsule这么强大。Capsule结构有两个比较重要的创新,如下图所示:

  • Squash压缩激活函数
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文宇肃然

精神和物质鼓励你选一个吧

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值