【Pytorch小知识】torch.roll()函数的用法及在Swin Transformer中的应用(详细易懂)

原创最新推荐文章于 2026-09-20 15:34:23 发布 1.8k 阅读 AI写同款

爱喝白开水a

6793粉丝763篇原创

关注

从小白到专家：DeepSeek 模型硬件配置完全指南 DeepSeek是由深度求索（DeepSeek）推出的一系列大语言模型，涵盖从轻量级到超大规模的不同版本。高效性：优化了推理和训练效率，适合多种应用场景。灵活性：支持从单机到分布式集群的部署方式。多场景适配：适用于文本生成、代码补全、对话系统等任务。为了充分发挥DeepSeek模型的性能，合理的硬件配置至关重要。以下是针对不同规模模型的具体硬件需求。阅读详情

AI摘要

本文详细介绍了PyTorch中的torch.roll()函数及其应用场景，并提供了一个全面的大模型AI学习指南，涵盖从初阶应用到商业闭环的全过程。

文章目录

torch.roll()的官方文档
- 函数形式及参数说明
- 举个例子
torch.roll()的应用
- 具体步骤

torch.roll()的官方文档

函数形式及参数说明

在这里插入图片描述
函数形式：torch.roll(input,shifts,dims=None）
参数解释：

input:输入张量
shifts:滚动的方向和长度，若为正，则向下滚动；若为负，则向上滚动。可是一个整数也可以是一个元组。(具体见下面例子)
dims:张量按什么维度滚动。以二维为例，0就是按行上下或者下上(shifts为负)滚动；1就是左右或者右左(shifts为负)。可以是整数或元组。

举个例子

下面我们通过官方给出的例子加以讲解。
在这里插入图片描述

x是一个定义好的4×2张量
torch.roll(x,1,0):shifts=1，代表正向(向下)滚动1格，dims=0代表按行滚动。于是，[1,2]就到了第二行，[7,8]就到了第一行。以此类推。
torch.roll(x,-1,0):shifs=-1，代表负向(向上)滚动1个，dims=0代表按行滚动。于是就有了与上一步相反的结果，每行都同步上移了一格。
torch.roll(x,shifts=(2,1),dims=(0,1)):元组形式传参，那就是先按行正向滚动2格，再按列正向(左右)滚动1格。见如下过程：

x是这样的4×2张量:
[ 1 2 3 4 5 6 7 8 ] \left[ \begin{matrix} 1 & 2 \\ 3 & 4 \\ 5 & 6 \\ 7 & 8 \\ \end{matrix} \right] 13572468
shifts=2，dims=0后:
[ 5 6 7 8 1 2 3 4 ] \left[ \begin{matrix} 5 & 6 \\ 7 & 8 \\ 1 & 2 \\ 3 & 4 \\ \end{matrix} \right] 57136824
shifts=1，dims=1后：
[ 6 5 8 7 2 1 4 3 ] \left[ \begin{matrix} 6 & 5 \\ 8 & 7 \\ 2 & 1 \\ 4 & 3 \\ \end{matrix} \right] 68245713

torch.roll()的应用

Swin Transformer中的shifted window partition操作中更有效地计算自注意力的方法。在实现cyclic shift时要用到torch.roll()。
在这里插入图片描述

具体步骤

假设原图window partition是个4×4tensor：
在这里插入图片描述
接下来要实现上图中所示的A、B、C变换，即1到右下角；5，9，13到1的上面；2，3，4到1的左边；其他元素相对位置不变。那么可以通过以下两步实现：

这样就完成了cyclic shift。

若要完成reverse cyclic shift，则将对应的shifts改成正数即可实现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述