Capsule 胶囊网络学习笔记

胶囊网络(Capsule Network) 胶囊网络有意思的解析1、传统的CNN2、胶囊2.1 向量神经元和标量神经元(普通人工神经元)对比2.2 工作原理2.3 动态路由 1、传统的CNN CNN中包含一个很重要的概念——池化(pooling)。它的作用是逐渐减低数据的尺寸,减少网络中参数的数量,从而使得计算资源消耗减少、网络收敛加速学习,还会有效控制过拟合。 但是,这也使CNN网络包含极大的缺陷。Capsule的提出者Hinton就认为池化在CNN中的好效果是个大错误甚至灾难。 池化,这一过程中包含了一个滤波器来减低尺度,但是这会导致重要的信息丢 阅读详情

以前邹班的SMT没认真听,还得重新回来捡。

参考自:https://blog.youkuaiyun.com/u013010889/article/details/78722140/

CNN的缺点:
忽略了图片中的位置信息,如果在图片中检测到眼睛鼻子等,就认为这是一张人脸,但如果把这些器官打乱,还是会误识别为人脸,这是CNN中max pooling的特性造成的。

这里写图片描述

如上图所示,我们通俗的将每个神经元的输出理解为这张图具有此特征的可能性(接近1就越可能具有某种特征),这里是用一个scale标量来表示图片是否具有此特征,capsule的思想就是把这些特征做出embedding,用一个向量来表示。所以就使得神经元的输出是向量而不是标量。

这里写图片描述
胶囊网络的单元结构和普通的神经元的区别在上图很明显了。核心思想大概就这些,具体细节或其他可以参考引用中的博客或者原文。

胶囊网络(Capsule)学习笔记 1. 前言 最近学习了一下胶囊网络(Capsule Net),这里写一篇博客记录学习笔记。 胶囊网络于2017年,由深度学习先驱Hinton发布的开源论文《Dynamic Routing Between Capsules》提出。 胶囊网络的特点是“vector in vector out”,取代了以往神经元的“scalar in scalar out”。 Q: 什么是“胶囊”呢? A: 只要把一个向量当作一个整体来看,它就是一个“胶囊”。 每一个胶囊表示一个特征,Capsule输出的向量的模值大小表示有没. 阅读详情

相关推荐

关于胶囊网络(Capsule Net)的个人理解

最近在跟踪keras的contri版的更新时,发现了冒出了一个Capsule层。于是我百度+谷歌一顿操作猛如虎,才发现在很早之前,胶囊网络的概念就提出了。但是限于胶囊网络的performance并不是在各个数据集都是碾压的情况,并且其计算量偏大,训练时间偏长,所以并没有被广泛的运用和替换。但是在官方给出的测试结果来看,其实效果还是挺不错的。 以上是原论文(https://ar...

weixin_42078618的博客 1万+

胶囊网络(Capsual Network)

胶囊网络 近日学习深度神经网络了解到胶囊网络,且胶囊网络解决了CNN的一些缺点,通过查阅资料决定按照自己的理解整理一下。 1. 简单了解胶囊网络 首先胶囊网络(Capsual Network)是NeurIPS 2017的一项工作。作者首先总结了当前卷积神经网络的限制与不足:①CNN通过池化操作获得invariance,有助于分析,但是同时一些局部信息也会丢失。如果数据发生旋转、倾斜,其效果会很差 ②CNN很解释部分与整体之间的位置关系。当前针对问题1现有两种方法解决方案,一是数据增强,通过对训练样本进行旋转

little_yan的博客 1万+

结合胶囊网络Capsule和图卷积GCN的文章

结合胶囊网络Capsule和图卷积GCN的文章一、Capsule Neural Networks for Graph Classification1.1 文章概要1.2 实现方法1.2.1 Graph to Contextual Tensor1.2.2 Graph Capsule Network1.3 实验结果二、Graph Capsule Convolutional Neural Network...

小执着的博客 6389

胶囊神经网络详解

目录 背景介绍 卷积神经网络不足之处 位姿 胶囊是什么? 胶囊的工作原理 1.输入向量的矩阵乘法 2.输入向量的标量加权 3.加权输入向量之和 4. 向量到向量的非线性变换 囊间动态路由算法(精髓所在) 背景介绍 Geoffrey Hinton,深度学习的开创者之一,反向传播等神经网络经典算法的发明人,2017年10月发表了论文,介绍了全新的胶囊网络模型,以及相应的囊间动态路由算法。 论文https://arxiv.org/pdf/1710.09829.pdf Geo..

A496608119的博客 2万+

基于pytorch的胶囊网络minst图像分类实现

关于《Dynamic Routing Between Capsules》这篇论文的代码复现网上有很多,基本都是做图像重构的。我修改了一部分代码,实现了minst图像分类。 参考:基于pytorch的CapsNet代码详解. 胶囊网络结构 胶囊网络基本结构如下: 普通卷积层conv1 预胶囊层PrimaryCaps:为胶囊层做准备,运算为卷积运算。 胶囊层DigitCaps:代替全连接层,输出为...

杂文集 6248

python实现胶囊网络_Capsule Network胶囊网络解读与pytorch代码实现

本文是论文《Dynamic Routing between Capsules》的论文解读与pytorch代码实现。如需转载本文或代码请联系作者 @Riroaki 并声明。众所周知,卷积神经网络(CNN)在时序数据和图像数据相关的问题上具有较好的表现。一般而言,基本的CNN的结构可以表示为:[INPUT - CONV - RELU - POOL - FC],也就是[输入-卷积-激活-池化-分类得分]...

weixin_39900608的博客 2323

基于改进胶囊网络的文本分类-论文研读

论文研读,论文记录。基于胶囊网络的论文研读,理论学习与回顾。

世上再无张显宗 2465

Capsule Network(胶囊网络)深度解析

胶囊网络(Capsule Network)是Hinton团队在2017年提出的一种新型神经网络,旨在解决传统卷积神经网络(CNN)的​。​的任务中展现出独特优势。尽管训练复杂度和显存消耗仍是挑战,但其在​。​:确定初级胶囊 i 到高级胶囊 j 的连接权重 cij​。​:通过迭代,高级胶囊会选择与其预测一致的初级胶囊输入。​的机制,突破了传统CNN的几何建模局限,在需要​。​等领域的潜力值得期待。

qq_43664407的博客 1816

Dynamic Routing Between Capsules(胶囊网络与源码解析)

胶囊网络叫做向量神经元 (vector neuron) 甚至张量神经元 (tensor neuron) 更贴切。 不变性指不随一些变换来识别一个物体,具体变换包括平移 (translation),旋转 (rotation),视角 (viewpoint),放缩 (scale) 等。不变性通常在物体识别上是好事,因为不管雕像怎么平移、2D旋转、3D旋转和放缩,我们都可以识别出它是雕像。如果我们的任务比...

nakaizura 5118

Capsule Network 胶囊网络介绍

胶囊网络可以作为一个论文提分的点,但是工程上不建议用。。。相比于CNN网络而言,胶囊网络可以用更小的训练数据进行良好的训练;具有更强的能力去识别复杂的层次结构和空间关系。

走在深度学习前沿的小宋 2188

胶囊网络(Capsule Networks)

传统的神经网络的基本单元是,每一个神经元接收上一层神经元输出标量的线性组合,经过激活函数输出一个。v1v2...v向量v代表了输入数据内的一种pattern类型,v的每一个维度代表了这个pattern的一种v的范数norm代表了这个pattern出现的(归一化后)。如对于卷积神经网络,一个胶囊的输出v可能代表某一种图案(如眼睛、嘴巴),v的每一个维度代表了这个图案的方向、大小等特征属性。

AI天才研究院 2016

Capsule network 胶囊网络模型优化

Capsule Network 自从Hinton团队的capsule network 文章出来后,蛮多研究都围绕这个模型进行,小编也加入了大军。胶囊网络模型的官方开源也已经公布到github上了。 关于胶囊网络:其实质还是卷积网络,只是这里采用了封装操作,将对一块区域的卷积后的特征进行封装,这一组特征都是原图像的同一区域的特征组合。当然同一位置可以得到多个胶囊。现在我们来分析一下单个胶囊:单个胶囊...

weixin_40279184的博客 2860

胶囊网络(Capsule)实战——keras算法练习

Capsule是深度学习之父hinton在2017年提出来的一个较为轰动的网络结构。capsule这个结构主要的特点是:Vector in Vector out——向量进,向量出,而普通的神经元(Neuron)是Vector in Scalar out——向量进,标量出。capsule输出的向量比Neuron输出的标量表达出更丰富的特征。 下图台湾大学的李宏毅老师对capsule解读的slide。 Neuron的输出标量只能表示到是否存在鸟嘴。 capsule的输出的向量不仅能表示鸟嘴是否存在,而且还能

wenyusuran的专栏 2224

【Mo 人工智能技术博客】胶囊网络——Capsule Network

胶囊网络——Capsule Network 作者:林泽龙 1. 背景介绍 CNN 在处理图像分类问题上表现非常出色,已经完成了很多不可思议的任务,并且在一些项目上超过了人类,对整个机器学习的领域产生了重大的影响。而 CNN 的本质由大量的向量和矩阵的相乘或者相加,因此神经网络的计算消耗非常大,所以将一张图片上全部像素信息传递到下一层运算是十分困难的,所以出现了“卷积”和“池化”这种方法,能够在不损...

Mo 的博客 3297

UE4 GamePlay框架深度解析:从蓝图到C++构建多人游戏核心

在游戏开发与实时交互应用领域,一套清晰、可扩展的底层框架是项目成功的关键。GamePlay框架作为虚幻引擎(UE4/UE5)的核心架构,定义了游戏世界中对象交互、状态管理与网络同步的基本原理。它通过职责分离的设计模式,将游戏规则(GameMode)、全局状态(GameState)、玩家状态(PlayerState)、可操控实体(Pawn/Character)及其控制器(Controller)等核心类有机组织起来,确保了逻辑的清晰性与多人游戏数据的一致性。其技术价值在于为开发者提供了一套经过验证的最佳实践,大

weixin_33924770的博客 611

从混乱到清晰:用QJsonObject重构你的Qt网络API数据解析层(避坑指南)

本文详细介绍了如何使用QJsonObject重构Qt网络API数据解析层,避免常见的JSON解析陷阱。通过安全解析模式、数据绑定和性能优化技巧,帮助开发者构建高效、健壮的解析逻辑,提升代码可维护性和可读性。特别适用于处理复杂嵌套的JSON响应数据场景。

weixin_29011667的博客 230

胶囊网络(Capsule Network)

胶囊网络

qq_42208244的博客 2709

从SPI协议到文件系统:手把手教你用HAL库给W25Q16移植FATFS(附扇区管理优化方案)

本文详细介绍了如何在STM32平台上,通过HAL库的SPI接口为W25Q16 Flash芯片移植FATFS文件系统。文章从SPI通信基础讲起,深入解析了FATFS底层驱动(diskio.c)的移植要点,并重点探讨了针对W25Q16的4KB物理扇区特性进行扇区管理优化的两种方案,旨在帮助开发者构建稳定高效的文件存储方案。

happy2的博客 1043

胶囊网络(Capsule Networks)

胶囊网络(Capsule Networks)是深度学习三巨头之一的Geoffrey Hinton提出的一种全新的神经网络。胶囊网络基于一种新的结构——胶囊(Capsule),通过与现有的卷积神经网络(CNN)相结合,从而在一些图像分类的数据上取得了非常优越的性能。何谓胶囊?简单来说,。因此,胶囊网络中的每层神经网络都包含了多个胶囊基本单元,这些胶囊与上层网络中的胶囊进行交互传递。

yyyyyyep的博客 3028

c++ webrtc基础(1) :webrtc源码下载与编译、项目模块介绍、学习资料推荐

本篇博客介绍webrtc源码的下载与编译,以及推荐webrtc学习资料。 源码下载 电脑环境:win10/win11 64bit,合理的上网环境,没有合理的网络环境无法拉取、下载webrtc代码和工具,宽带速度要快,尽量50M. 主要步骤如下: (1) 安装git (2) 打开cmd控制台,下载google开发工具depot_tools: git clone https://chromium.googlesource.com/chromium/tools/depot_tools.git (3) 新建一个目

琅嬛福地 3293

kaggle学习笔记-餐厅数据挖掘

分析Zomato数据集的基本思想是为了公平地了解影响在班加罗尔不同地方建立不同类型餐厅的因素,每个餐厅的总评级,班加罗尔是这样一个城市,拥有超过12,000家餐厅,餐厅供应来自世界各地的菜肴。每天都有新的餐馆开业,这个行业还没有饱和,需求也在与日俱增。然而,尽管需求不断增加,新餐馆却很难与老牌餐馆竞争。大多数餐厅都供应同样的食物。班加罗尔是印度的IT之都。这里的大多数人主要依靠餐馆的食物,因为他们没有时间自己做饭。由于对餐馆的需求如此巨大,因此研究一个地方的人口统计学就变得很重要。

优快云XXCQ的博客 1861

拆解式解读如何用飞桨复现胶囊神经网络(Capsule Network)

点击左上方蓝字关注我们【飞桨开发者说】王成,深度学习爱好者,淮阴师范学院,研究方向为计算机视觉图像与视频处理。Dynamic Routing Between Capsules是 NIPS...

百度大脑 2018

全网最全-DA14531-全球最小-BLE从入门到精通开发教程

本教程主要适用于低功耗产品,DA14531它体积小,非常适用于对体积敏感的设备,如无线可穿戴、传感器、助听器等设备。本文经过作者发大量时间来记录开发项目的调试方法,里面有许多笔者开发心得体会,旨在让读者工程师快速上手,减少摸索时间,提高软件质量。读者对象本文档主要适用以下工程师:嵌入式系统工程师单片机软件工程师IOT固件工程师BLE固件工程师。

hejinwu1314的博客 5137

李宏毅:capsule(胶囊网络)

1、capsule与neural的区别 neural的output是value,capsule的output是vector。 capsule的input可以是其它capsule的output。 neural是侦测某一个pattern,但是capsule是侦测某一类pattern,它输出的vector的每一个dimension代表pattern的特性,vector的长度代表了这某一类的patt...

jiaojiaolou的博客 3955

手把手教你学simulink(83.2)--分布式能源场景实例:使用Simulink构建一个典型的光伏发电分布式能源系统模型

*分布式能源系统(Distributed Energy System, DES)**是指由多个小型发电单元、储能装置和负载组成的电力系统,这些组件通常分布在不同的地理位置。DES包括太阳能光伏(PV)、风力发电、微型燃气轮机、储能电池等。这种系统能够提高能源利用效率、减少传输损耗,并增强电网的稳定性和可靠性。在DES中,各组件之间的协调与控制至关重要。通过使用Simulink,我们可以模拟和优化这些系统的运行情况,研究其动态行为,并设计有效的控制策略。

MHD0815的博客 1104

Far planner 代码系列(33) 关于real_world_contour和contour_graph

我们知道far planner前部分的流程是这样子的: 对于特定的地图,如下: 我们要从surround_obs_cloud里抽取生成realworld_contour_,如下图所示: 在这时候,每个node的z坐标都是以机器人的高度定的。如图所示: 先去吃饭啦~待会回来在写 ...

博客 762
上一篇: 论文笔记《Chinese Lexical Analysis with Deep Bi-GRU-CRF Network》
下一篇: theano配置问题
trayfour
博客等级 码龄13年 43粉丝 36原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值