expand和unsqueeze在一些情况使用的含义

最新推荐文章于 2025-01-20 15:13:42 发布

ox180x

最新推荐文章于 2025-01-20 15:13:42 发布

阅读量516

点赞数

CC 4.0 BY-SA版权

文章标签：深度学习 pytorch python 机器学习 transformer

本文链接：https://blog.youkuaiyun.com/ox180x/article/details/124095213

本文详细介绍了PyTorch中的unsqueeze和expand两个张量操作，通过实例解析它们如何改变张量的维度和形状。情况一展示了如何使用unsqueeze和expand将一个[B,L,F]的张量转换为[B,L,F,F]，用于一阶马尔可夫模型。而在情况二中，探讨了可能的应用，如嵌套NER任务，通过形成一个首尾矩阵来表示句子中不同位置之间的关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

情况一

input:

import torch

# a 模拟的是: batch_size: 2, sequence_length:3, feature: 4
a = torch.arange(24).reshape(2, 3, 4)
# b 代表的是: feature: 4 * 4
b = a.unsqueeze(2).expand(-1, -1, 4, -1) # shape: torch.Size([2, 3, 4, 4])

output:


a[0]
>>> tensor([[ 0,  1,  2,  3],
        [ 4,  5,  6,  7],
        [ 8,  9, 10, 11]])


b[0]

>>>tensor([[[ 0,  1,  2,  3],
         [ 0,  1,  2,  3],
         [ 0,  1,  2,  3],
         [ 0,  1,  2,  3]],
        [[ 4,  5,  6,  7],
         [ 4,  5,  6,  7],
         [ 4,  5,  6,  7],
         [ 4,  5,  6,  7]],
        [[ 8,  9, 10, 11],
         [ 8,  9, 10, 11],
         [ 8,  9, 10, 11],
         [ 8,  9, 10, 11]]])

换种说法就是:

a: [B, L, F]
b: [B, L, F, F]

每个字对应一个[F, F]的矩阵
这个矩阵的第i行第j列的元素的含义是：上一时刻tag为i, 这一时刻tag为j的分数。比如应用到一阶马尔可夫相关的模型中。

情况二(这种情况没真实测试过，需谨慎对待)

# b 代表的是: sequence length: 3 * 3
b = a.unsqueeze(1).expand(-1, 3, -1, -1) # shape: torch.Size([2, 3, 3, 4])


b[0]

tensor([[[ 0,  1,  2,  3],
         [ 4,  5,  6,  7],
         [ 8,  9, 10, 11]],
        [[ 0,  1,  2,  3],
         [ 4,  5,  6,  7],
         [ 8,  9, 10, 11]],
        [[ 0,  1,  2,  3],
         [ 4,  5,  6,  7],
         [ 8,  9, 10, 11]]])