Spatial Transformer Network

最新推荐文章于 2022-10-16 22:16:59 发布
最新推荐文章于 2022-10-16 22:16:59 发布
阅读量986 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 算法 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/sinat_37011812/article/details/81866253
本文深入探讨了Spatial Transformer Networks（STN）的概念与实现原理。STN作为一种可学习的网络模块，能够增强卷积神经网络对空间变化的鲁棒性，如物体在图像中的旋转和平移。文章详细介绍了STN的组成部分：定位网络、参数化采样网格和可微图像采样，并提供了代码链接。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

简介

网络结构

Localisation net

Parameterised Sampling Grid

Differentiable Image Sampling

结论

Coding

References

 

简介

卷积神经网络缺少对输入数据空间变化的鲁棒性，简而言之同样的物体假设在不同图片中存在旋转、平移

缩放等空间上的变化，也会对卷积神经网络的预测产生影响。在图像识别、物体定位、语义分割、动作识别等领域，增加对空间信息的鲁棒性都有助于提高最后的准确率。

尽管引入池化操作可以赋予我们的网络一定程度上对空间变化的鲁棒性，但池化操作其实是一个不理想的操作，因为它对丢弃原有feature map上的信息从而丢失原来的位置信息。其次，池化操作的感受野很小，能获得的全局信息也较少。

由此，作者们提出了Spatial Transformer Network，它是一种可学习的网络模块(可以通过反向传播优化参数)，可以作为插件一样插入进任何已经存在的网络结构中，赋予网络对空间变化的鲁棒性。

网络结构

 

整个网络结构由三部分组成，其中输入为U，输出为V。

Localisation net

输入为feature map，经过一系列隐藏层后输出Spatial Transformation的参数，Spatial Transform会被应用到feature map

对于Localisation net的组成没有特别的要求，可以是全连接也可以是卷积，但在最后需要regression参数。对于仿射变化，可以知道参数是6维的

Parameterised Sampling Grid

对每个像素点进行采样，与localisation net所获得的spatial transformation参数结合可以知道输出feature map上的点在输入feature map上的对应点

然而经过计算后得到的源图像的坐标点可能是小数，而图像中点的坐标都是整数怎么办呢？

Differentiable Image Sampling

为了解决上述的问题，我们可以想到使用双线性插值来进行采样，当然也可以使用其他的采样方法，然而为了让梯度可以反向传播，使用的方法必须要可以对其参数进行求导。通过插值，我们可以改变最终输出V的大小，从而完成整个transformer

搬运一些公式。

结论

至此，其实整个网络已经结束了，看看它的效果吧

Coding

https://github.com/kevinzakka/spatial-transformer-network/blob/master/stn/transformer.py

整个代码逻辑很清晰和论文描述的过程一样分成三个部分，不再一一介绍。

References

https://arxiv.org/abs/1506.02025

https://kevinzakka.github.io/2017/01/10/stn-part1/

https://kevinzakka.github.io/2017/01/18/stn-part2/

https://blog.youkuaiyun.com/yaoqi_isee/article/details/72784881

 

旋转目标检测：Deep Spatial Feature Transformation for Oriented Aerial Object Detection【方法解析】
sinat_39783664的博客
07-25 159
旋转目标检测DSFT-Net方法部分解析
由三维面部先验指导的面部超级分辨率 （读书笔记）
阿里山踟蹰
09-03 1281
主要贡献：背景：最先进的（State-of-the-art）面部超分辨率方法采用深度卷积神经网络（deep convolutional neural networks ），通过探索局部外观知识来学习低分辨率和高分辨率面部模式之间的映射。（mapping)痛点：这些方法大多不能很好地利用面部结构和身份信息identity information），并且难以处理表现出巨大姿态变化（large pose variations）的面部图像。解决：我们提出了一种新的面部超分辨率方法，
[论文理解]Spatial Transformer Networks（STN）
bxdzyhx的博客
10-29 875
0 写在前面 在对原文进行了翻译，以及参考了别人的一些博客后，lz打算提炼一下自己对STN的理解，后续有更深入的认识后会不断地增加内容。 1 STN的创新点 单纯的CNN对于图像的transformation（旋转、缩放、大尺度平移）是不具有invariance的。而这篇论文创新性地提出了一种spatial transformer（ST）结构，一定程度上赋予了CNN transformation invariance，算是STN领域的开山之作了，谷歌引用3400+。 2 ST的工作原理 图1 ST的结构
理解Spatial Transformer Networks
08-13
随着深度学习的不断发展,卷积神经网络(CNN)作为计算机视觉领域的杀手锏,在几乎所有视觉相关任务中都展现出了超越传统机器学习算法甚至超越人类的能力。一系列CNN-based网络在classification、localization、semantic segmentation、action recognization等任务中都实现了state-of-art的结果。
空间变化层 spatial transformer layer
heavenpeien的博客
04-11 1404
图像的仿射变换公式可以表示如下一般情况下将空间变换层置于卷及神经网络模型中间（卷积或者池化层后面）conv->maxpool->conv->maxpool->conv->maxpool->dense(1000)->dense(6)------>st--->省略                                           ...
图像识别：CNN、Spatial Transformer Layer（李宏毅2022
linyuxi_loretta的博客
10-16 820
convolutional layer就是，里面有一排filter，每个都是一个3 x 3 x channel 这么大的tensor，每个filter的作用就是抓取图片里的某个pattern，每个pattern需要在3 x 3 x channel那么小的范围内，才能被filter抓出来。pooling本身没有参数，没有要Learn的东西，所以他不是个layer，比较像是个activation function，他就是一个operator，他的行为都是固定好的，没有要根据data学任何东西。
[2] [Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform]学习笔记
halchan的博客
07-05 1170
[2] [Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform]学习笔记 版权归属： https://blog.youkuaiyun.com/halchan chanhal@outlook.com 更多关注： https://github.com/chanhal https://w...
论文阅读《Spatial Transformer Network》
yj_isee的博客
05-27 6385
Google DeepMindAbstract:作者说明了CNN对于输入的数据缺乏空间变换不变形(lack of spatially invariant ability to input data)，因此作者引入了一个spatial transformer module，不需要额外的监督，能够以data-driven的方式学习得到输入图像的空间变换参数，赋予网络spatial invariant能力
《LOCALITY-CONSTRAINED SPATIAL TRANSFORMER NETWORKFOR VIDEO CROWD COUNTING》论文笔记
杨的博客
01-27 1928
LOCALITY-CONSTRAINED SPATIAL TRANSFORMER NETWORKFOR VIDEO CROWD COUNTING论文地址论文翻译ABSTRACT1. INTRODUCTION2. RELATED WORK3. OUR APPROACH3.1. Density map regression module3.2. LST module4. EXPERIMENTS5. C...
spatial transformer network
06-28
空间变换网络（Spatial Transformer Network）是一种神经网络模型，它可以对输入图像进行空间变换，从而提高模型的鲁棒性和准确性。该模型可以自动学习如何对输入图像进行旋转、缩放、平移等变换，从而使得模型可以...
空间注意力机制sam_【注意力机制】空间注意力机制之Spatial Transformer Network
weixin_39529463的博客
12-20 1186
简述2015 NIPS(NeurIPS，神经信息处理系统大会，人工智能领域的 A 类会议)论文Google DeepMind 出品的论文(Alpha Go 东家)，STN(Spatial Transformer Network)网络可以作为一个模块嵌入任何的网络，它有助于选择目标合适的区域并进行尺度变换，可以简化分类的流程并且提升分类的精度。CNN 虽然具有一定的不变性，如平移不变性，但是其可能不...
1506.02025_Spatial Transformer Networks
08-14
new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional ...
Spatial Transformer Networks
zhuiqiuk的专栏
02-14 2万+
TF code： https://github.com/kevinzakka/spatial-transformer-network 一、相关背景 如果网络能够对经过平移、旋转、缩放及裁剪等操作的图片得到与未经变换前相同的检测结果，我们就说这个网络具有空间变换不变性（将平移、旋转、缩放及裁剪不变性统称为空间不变性）。具有空间变换不变性的网络能够得到更精确地分类结果。传统CNN网络的池化层具有平...
空间变换网络--spatial transform network
热门推荐
u011961856的专栏
09-10 4万+
CNN分类时，通常需要考虑输入样本的局部性、平移不变性、缩小不变性，旋转不变性等，以提高分类的准确度。这些不变性的本质就是图像处理的经典方法，即图像的裁剪、平移、缩放、旋转，而这些方法实际上就是对图像进行空间坐标变换，我们所熟悉的一种空间变换就是仿射变换，图像的仿射变换公式可以表示如下： 式中，(xSource,ySourcex^{Source},y^{Source})表示原图像像素点，(xTar
Spatial-Transform-Network
Android_chunhui的专栏
07-24 588
Introduce 传统pooling层： 把feature map分割成网状cell并从每个网格中简化信息。它会丢弃75%（2x2）的激活特征，在位置信息不重要的前提下会增加空间的鲁棒性，不管目标出现在什么位置都能获得相似的特征。但是对于某些任务位置信息是相当重要的，比如在猫分类器中，就无法知道胡子相对于鼻子的位置（在同一cell被池化）。 池化kernel 是局部的，固定的，空间不变性要在...
【转载】空间变换网络--spatial transform network
xiaoyaolangwj的博客
06-29 1074
转载位置：空间变换网络--spatial transform network CNN分类时，通常需要考虑输入样本的局部性、平移不变性、缩小不变性，旋转不变性等，以提高分类的准确度。这些不变性的本质就是图像处理的经典方法，即图像的裁剪、平移、缩放、旋转，而这些方法实际上就是对图像进行空间坐标变换，我们所熟悉的一种空间变换就是仿射变换，图像的仿射变换公式可以表示如下： 式中，(xSource,ySourcexSource,ySource)表示原图像像素点，(xTarget,yTargetxTarget,
Spatial Transformer Networks 空间变换网络
Liam_fang的博客
03-30 1473
    这是一篇来自Google DeepMind 2015年发表的一篇文章，由于最近在看的自然场景中的Curved text需要将Curved text 通过STN变换成tightly-bounded的文本，这样变换之后的文本对于后续的文本识别的效果更好。    众所周知，CNN（卷积神经网络）是一个很强大的分类网络，但是对于input data 还是缺少spatially invariant的...
论文阅读：Spatial Transformer Networks
Friedrich Yuan的博客
03-28 833
论文阅读：Spatial Transformer Networks（1）Author（2）Abstract（3）Conclusion（4）Introduction（3）Spatial Transformers（4）Experiments（5）个人总结 （1）Author 作 者 Max Jaderberg Karen Simonyan Andrew Zisserman Koray Kavukcu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值