torch.gather的三维实例

本文深入解析torch.gather函数,从二维到三维的应用实例,探讨dim参数的作用,并通过手动实现广播功能来解释其工作原理。示例展示了如何在pytorch中进行维度扩展,将tensorflow的gather操作转换为pytorch代码,同时也提到了embedding在其中的角色。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

函数解析

torch.gather(input,dim,index)
先从二维开始:

>>> a = torch.arange(9).reshape(3,3)
>>> a
tensor([[0, 1, 2],
        [3, 4, 5],
        [6, 7, 8]])
>>> index= torch.LongTensor([[2,1,0]]) # 这里index和input必须有一样的维度...
>>> torch.gather(a,0,index)
tensor([[6, 4, 2]])

图示代码
这里为了简单把index只做了13,如果是23,就类似:
在这里插入图片描述

这里dim的意义是在哪个维度上去取值,这意味着:对index和input来说,除了这个维度以外,其他的维度必须一样。

高维的gather

如果维度成为三维或者更高维,也是类似的。
在这里插入图片描述


手动broadcast

先上一段简单的实例代码。

>>> a
tensor([[ 0.9918,  0.49
### torch.matmul 对三维矩阵的操作 `torch.matmul` 是 PyTorch 中的一个通用矩阵乘法函数,能够处理不同维度的张量。对于三维矩阵而言,它会按照批量的方式执行矩阵乘法。 #### 示例代码 以下是 `torch.matmul` 处理三维矩阵的具体示例: ```python import torch # 定义两个三维张量 (batch_size=2, n=3, m=4 和 batch_size=2, p=4, q=5) a = torch.tensor([[[1, 2], [3, 4], [5, 6]], [[7, 8], [9, 10], [11, 12]]]) b = torch.tensor([[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]]) print("张量 a 形状:", a.shape) # 输出: torch.Size([2, 3, 2]) print("张量 b 形状:", b.shape) # 输出: torch.Size([2, 2, 3]) # 执行矩阵乘法 result = torch.matmul(a, b) print("结果形状:", result.shape) # 输出: torch.Size([2, 3, 3]) print("结果:") print(result) ``` 在这个例子中,张量 `a` 的形状为 `[2, 3, 2]`,表示有两组大小为 `(3, 2)` 的矩阵;张量 `b` 的形状为 `[2, 2, 3]`,表示有两组大小为 `(2, 3)` 的矩阵。`torch.matmul` 将每一对对应的矩阵相乘,并返回一个新的三维张量,其形状为 `[2, 3, 3]`[^1]。 #### 关键点解析 - **批量维度匹配**:如果输入张量具有相同的第一个维度,则该维度被视为批量维度。在此情况下,`torch.matmul` 会对每一组对应的数据分别进行矩阵乘法。 - **高维扩展**:当处理超过二维的张量时,`torch.matmul` 自动沿最后一个两个维度应用矩阵乘法规则[^2]。 - **与其他函数的区别**:相比 `torch.mm` 和 `torch.bmm`,`torch.matmul` 更具灵活性,因为它不仅限于特定维度的张量操作[^3]。 #### 应用场景 在深度学习模型中,尤其是涉及批量数据处理的情况下,`torch.matmul` 常被用来实现高效的矩阵运算。例如,在神经网络的全连接层中,权重矩阵与输入特征之间的乘积可以通过此函数快速完成。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值