4.grid_sample理解与使用

最新推荐文章于 2025-10-09 20:54:18 发布
原创 最新推荐文章于 2025-10-09 20:54:18 发布 · 3.8k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能

本文介绍了PyTorch中grid_sample函数的工作原理，包括如何根据坐标网格将mask映射到目标图像上，以及函数的原型、参数和不同模式的使用。通过实例演示了如何将100x100的mask采样到500x300的图像上。

pytorch中的grid_sample

文章目录

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

grid_sample

直译为网格采样，给定一个mask patch，根据在目标图像上的坐标网格，将mask变换到目标图像上。

如上图，是将一个2x2的mask根据坐标网格grid变换到6x6目标图像x0 y0 x1 y1 = 1,1,3,3的位置上，值得注意的是grid是经过运算得到的坐标网格，mask在target image对应位置的左上角处坐标应该为-1,-1，右下角处坐标应该为1,1，目标图像对应位置的像素值由mask通过插值得到。

知道了grid_sample的原理，再来看下torch中的函数。

grid_sample函数原型

torch.nn.functional.grid_sample(input,
                                grid, 
                                mode='bilinear',                
                                padding_mode='zeros', align_corners=None)
  • input输入image patch，支持4d或5d输入。为4d时shape为 N , C , H i n , W i n N,C,H_{in},W_{in} N,C,Hin​,Win​
  • grid坐标网格，当input为4d时其shape为 N , H o u t , W
最低0.47元/天 解锁文章
Pytorch grid_sample解析
xingye_fan的博客
12-10 1万+
Pytorch nn.functional.grid_sample解析
pytorch中torch.nn.functional.grid_sample()函数通俗易懂的理解
薛定谔的猫头咕咕咕
12-09 1万+
通俗易懂理解F.grid_sample
【通俗易懂】详解torch.nn.functional.grid_sample函数：可实现对特征图的水平/垂直翻转
信小海
12-02 2万+
详解torch.nn.functional.grid_sample函数）：可实现对特征图的水平/垂直翻转。
torch.grid_sample的使用
最新发布
Amazing_Fly的博客
10-09 314
本文主要针对grid_sample输出结果与像素坐标对应值有差异展开实验，最终发现该问题是由于align_corners参数导致，因此针对该参数进行了对比试验。其他参数如mode， padding参数带来的影响比较容易看出，这里不做赘述。
理解Pytorch中的grid_sample函数
个人学习笔记
08-27 5022
pytorch中grid_sample的作用
torch.nn.functional.grid_sample() 函数实例
weixin_44109545的博客
09-29 1441
前言：以下仅为个人在学习过程中的记录和总结，有问题欢迎友善讨论。 仅以4D input为例（对应二维图片） torch.nn.functional.grid_sample(input, grid,mode='bilinear', padding_mode='zeros', align_corners=None) Args: input (N,C,Hin,Win) (N,C,H_{in}, W_{in})(N,C,Hin​,Win​) N：batch size C：feature dimen.
grid_sample（）
sky的博客
08-01 3699
torch.nn.functional.grid_sample(input, grid, mode='bilinear', padding_mode='zeros', align_corners=None) 提供一个input的Tensor以及一个对应的flow-field网格(比如光流，体素流等)，然后根据grid中每个位置提供的坐标信息(这里指input中pixel的坐标)，将input中对应位置的像素值填充到grid指定的位置，得到最终的输出。 关于input、grid以及output的尺寸如下.
pytorch中的grid_sample()
weixin_43559672的博客
10-29 5566
torch.nn.functional.grid_sample 首先我们看pytorch文档中给出的描述： torch.nn.functional.grid_sample(input, grid, mode=‘bilinear’, padding_mode=‘zeros’, align_corners=None) Given an input and a flow-field grid, computes the output using input values and pixel location
Pytorch中的grid_sample算子功能解析
jameschen9051的博客
05-11 1万+
近期在一个模型从pytorch迁移到mindspore框架中遇到一个算子适配问题，pytorch中的grid_sample在mindspore中没有对应的算子，需要考虑自定义实现。查找pytorch官网发现grid_sample是一种特殊的采样算法。 调用接口为： torch.nn.functional.grid_sample(input,grid,mode='bilinear',padding_mode='zeros',align_corners=None)。 i...
PyTorch(1.3.0+)：学习torch.nn.functional.grid_sample
Yan
02-21 5299
背景 最近在学习SfMLearner，其中一个非常重要的部分是Differentiable depth image-based rendering，翻译过来就是基于深度的可微图像渲染。这看起来好像很高大上，但是换句话说其实就是要根据深度，在当前影像上生成另一个视角的影像。不多说这个了，这其中一个比较重要的部分就是，双线性采样，论文里图示如下，ItI_tIt​是目标影像（即前文说的另一个视角的影像）...
【通俗易懂】torch.nn.functional.grid_sample函数图文介绍。
weixin_53033073的博客
09-21 2531
以下，我会通过具体效果展示该函数的功能和用法。
插帧中grid_sample函数详解
longshaonihaoa的博客
07-31 3436
MEMC,VSR 常用的warp操作中grid_sample函数
PyTorch中grid_sample的使用方法
热门推荐
我的博客有点东西
07-24 6万+
grid_sample底层是应用双线性插值，把输入的tensor转换为指定大小。那它和interpolate有啥区别呢？ interpolate是规则采样（uniform)，但是grid_sample的转换方式，内部采点的方式并不是规则的，是一种更为灵活的方式。 torch.nn.functional.grid_sample(input, grid, mode=‘bilinear’, padding_mode=‘zeros’) input : 输入tensor， shape为 [N, C, H_in,
grid_sample函数3D插值-HDRNet
03-19 6993
在做图像处理时，有时需要分块调整图像亮度或者颜色，为了保持空间的平滑性，在块间会做平滑过渡，就是空域插值，同时，值域上，一般是1维LUT，往往也会进行插值，这样就会有3维插值。HDRNet就是一个典型的3D插值，空域划分成了16x16，值域上划分成8个区间，作者提供的代码是编译成了so，把插值的过程封装成库了，调用时也依赖库编译的环境，通用性并不好。其实，pytorch里提供了一个函数，grid_sample函数可以实现3D插值，可以直接调用这个函数即可实现HDRNet里的slice操作，当...
关于pytorch grid_sample()
chamber_of_secrets的博客
10-29 1万+
torch.nn.functional.grid_sample(input, grid, mode='bilinear', padding_mode='zeros') 在这里的一点误解，导致debug接近两周的时间 grid  (N x OH x OW x 2)  对于output上的每一个点，（x,y）三个通道的像素值，采集自input上某一点三个通道的像素值，采集哪个点呢，坐标存储在gr...
grid_sample及线性插值
sythust的博客
11-05 1125
对于mode='bilinear'参数，则定义了在input中指定位置的pixel value中进行插值的方法，为什么需要插值呢？关键的处理过程在于grid，grid的最后一维的大小为2，即表示input中的pixel的位置信息(x,y)，这里一般会将x和y的取值范围归一化到[-1,1]之间，(-1, -1)表示input左上角的像素坐标，(1, 1)表示input右下角的像素坐标，对于超出这个范围的坐标(x, y)，函数将会根据参数padding_mode的设定进行不同的处理。2.y方向单线性插值。
F.grid_sample
Gussss的博客
09-18 1941
torch.nn.functional.grid_sample()函数的参数grid，表示的是范围为[-1, 1]坐标系下的(x, y, z)，坐标与数组的对应关系是： x -> w, y -> h, z -> d，测试代码如下： import numpy as np from torch.nn import functional as F import torch if __name__ == '__main__': d, ..
f.grid_sample
爱CV
07-25 4093
grid_sample
F.grid_sample采样
xx_xjm的博客
09-24 1858
学习
给我说说F.affine_grid和F.grid_sample这两个函数
02-26
<think>好的，我现在需要向用户解释PyTorch中的F.affine_grid和F.grid_sample这两个函数。首先，我得回忆一下这两个函数的作用和常见用法，确保自己理解正确。 用户之前问了关于正态分布的函数，现在转向PyTorch的图像处理部分，可能是在进行图像增强或空间变换，比如在深度学习模型中应用仿射变换。用户可能在使用这些函数时遇到了问题，或者想更深入了解它们的原理和用法。 首先，F.affine_grid应该是用来生成仿射变换的网格，而F.grid_sample则根据这个网格对输入图像进行采样。我需要明确这两个函数各自的输入输出，参数的意义，以及它们是如何配合使用的。 对于F.affine_grid，参数包括theta（仿射矩阵）、size（输出尺寸），可能还有align_corners。需要说明theta的形状，比如对于N个样本，theta是Nx2x3的矩阵，而输出的网格是NxHxWx2，这里的H和W是目标尺寸的高和宽。每个网格点的坐标对应目标图像的位置，经过仿射变换后映射到原图的哪个位置。 然后是F.grid_sample，它接受输入图像和由affine_grid生成的网格，根据网格中的坐标对输入进行采样。需要解释采样方式，比如双线性插值，padding_mode如何处理越界坐标，以及align_corners的影响。同时，要提到输入可以是4D或5D张量，对应图像或体积数据。 用户可能想知道为什么需要这两个函数配合使用，以及它们在具体任务中的应用场景，比如数据增强、空间变换网络(STN)等。需要举一个例子，比如旋转、平移、缩放图像，或者更复杂的仿射变换，说明如何使用这两个函数实现。 此外，可能需要注意常见的参数错误，比如theta的形状是否正确，网格和输入的尺寸是否匹配，align_corners的设置是否一致。同时，提醒用户梯度问题，因为在训练中这些操作可能需要反向传播。 总结时，要强调两个函数的协作关系：affine_grid生成映射关系，grid_sample执行实际的像素采样，从而完成图像的空间变换。确保解释清晰，步骤分明，帮助用户理解如何正确使用它们。如果有必要，可以添加简单的代码示例，展示从生成仿射矩阵到应用变换的完整流程。</think>在PyTorch中，`F.affine_grid` 和 `F.grid_sample` 是用于实现图像或张量的**空间变换**（如平移、旋转、缩放等）的核心函数，常用于数据增强、空间变换网络（Spatial Transformer Networks, STN）等任务。以下是它们的详细说明： --- ### **1. `F.affine_grid`：生成仿射变换的采样网格** #### 功能 根据给定的仿射变换矩阵（`theta`），生成一个**采样网格**，描述如何将输入图像映射到目标图像。 #### 参数 - **`theta` (Tensor)**：仿射变换矩阵，形状为 `(N, 2, 3)`（2D变换）或 `(N, 3, 4)`（3D变换）。 - 对于2D图像：每个变换矩阵形如： \[ \begin{bmatrix} \theta_{11} & \theta_{12} & t_x \\ \theta_{21} & \theta_{22} & t_y \end{bmatrix} \] 其中前两列控制旋转/缩放，最后一列控制平移。 - `N` 是批量大小（batch size）。 - **`size` (tuple)**：目标图像的尺寸 `(N, C, H, W)`。 - **`align_corners` (bool)**：是否对齐像素角点（影响坐标计算方式，需与后续操作一致）。 #### 输出 - **`grid` (Tensor)**：形状为 `(N, H, W, 2)` 的网格，每个位置 `(i,j)` 存储目标图像中该点对应的**原始图像坐标** `(x, y)`。 --- ### **2. `F.grid_sample`：根据网格对输入进行采样** #### 功能 利用 `F.affine_grid` 生成的网格，对输入图像（或特征图）进行**双线性插值采样**，生成变换后的图像。 #### 参数 - **`input` (Tensor)**：输入图像或特征图，形状为 `(N, C, H_in, W_in)`。 - **`grid` (Tensor)**：由 `F.affine_grid` 生成的采样网格，形状为 `(N, H_out, W_out, 2)`。 - **`mode` (str)**：采样模式，可选 `'nearest'`（最近邻）或 `'bilinear'`（双线性插值，默认）。 - **`padding_mode` (str)**：处理越界坐标的方式，可选 `'zeros'`（补零）、`'border'`（边缘复制）、`'reflection'`（镜像反射）。 - **`align_corners` (bool)**：需与 `F.affine_grid` 的设置一致。 #### 输出 - **`output` (Tensor)**：变换后的图像，形状为 `(N, C, H_out, W_out)`。 --- ### **协作流程** 1. **定义仿射矩阵 `theta`**：指定所需的变换（如旋转角度、平移量等）。 2. **生成网格 `grid = F.affine_grid(theta, size)`**：计算每个输出像素对应的输入坐标。 3. **采样图像 `output = F.grid_sample(input, grid)`**：根据网格坐标从输入中插值生成输出。 --- ### **示例代码（2D图像旋转）** ```python import torch import torch.nn.functional as F # 输入图像：1张3通道的256x256图像 input = torch.randn(1, 3, 256, 256) # (N, C, H, W) # 定义仿射矩阵（逆时针旋转30度） theta = torch.tensor([[ [0.866, -0.5, 0], # cos(30°)=0.866, sin(30°)=0.5 [0.5, 0.866, 0] ]]) # (1, 2, 3) # 生成目标网格（输出尺寸与输入相同） grid = F.affine_grid(theta, input.size(), align_corners=False) # 对输入进行采样（得到旋转后的图像） output = F.grid_sample(input, grid, align_corners=False) ``` --- ### **关键点** 1. **坐标归一化**：网格坐标范围为 `[-1, 1]`，左上角为 `(-1, -1)`，右下角为 `(1, 1)`。 2. **反向映射**：`F.affine_grid` 计算的是**目标图像到输入图像的坐标映射**（逆向变换）。 3. **梯度传播**：两者均支持自动求导，可直接用于神经网络训练。 4. **应用场景**： - 数据增强（随机旋转、裁剪、仿射变换）。 - 空间变换网络（STN）中的可学习变换。 - 多视角图像对齐、医学图像配准等。 --- ### **常见问题** - **为什么输出有黑色区域？** 越界坐标会被填充（由 `padding_mode` 控制），例如旋转后超出原图范围的区域默认补零（黑色）。 - **如何实现更复杂的变换？** 可组合多个仿射变换，或使用 `F.grid_sample` 直接自定义网格（如薄板样条变换）。 - **对齐模式（`align_corners`）的影响？** 若设为 `True`，网格坐标会严格对齐像素角点；否则按边缘中心对齐（通常推荐 `False`）。 通过这两个函数，可以高效实现图像的空间变换，并集成到深度学习模型中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值