Pytorch阅读文档之torch.cat ,torch.split() and torch.chunk(),torch.stack()函数

关注

原创最新推荐文章于 2026-10-29 17:53:54 发布 3.6k 阅读 AI 写同款· GEO 优化 ›

Transformer注意力机制原理解析与PyTorch实战注意力机制是现代序列建模的核心技术，本质是一种可微分、可并行的上下文动态寻址方法，通过Query-Key-Value向量交互实现语义关系建模。其原理源于对RNN固定上下文向量瓶颈的突破，经Bahdanau加性注意力、Luong乘性注意力演进，最终由Transformer提出缩放点积注意力与多头机制，解决了长程依赖、并行训练与表征解耦三大难题。该技术已成为BERT、GPT等大模型的底层支撑，在机器翻译、文本摘要、情感分析等NLP任务中展现出强大泛化能力。本文结合PyTorch代码实现、工业级避坑指南与真实故障阅读详情

Pytorch阅读文档之torch.cat (),torch.split() and torch.chunk()函数

torch.cat ()函数

torch.cat(tensors, dim=0, out=None) → Tensor
#在给定维度上连接给定序列张量的序列。
#所有张量必须具有相同的形状（在连接尺寸中除外）或为空。
#torch.cat（）可以看作是torch.split（）和torch.chunk（）的逆运算。
#通过示例可以更好地了解torch.cat（）
#example
>>> x = torch.randn(2, 3)
>>> x
tensor([[ 0.6580, -1.0969, -0.4614],
        [-0.1034, -0.5790,  0.1497]])
>>> torch.cat((x, x, x), 0)
tensor([[ 0.6580, -1.0969, -0.4614],
        [-0.1034, -0.5790,  0.1497],
        [ 0.6580, -1.0969, -0.4614],
        [-0.1034, -0.5790,  0.1497],
        [ 0.6580, -1.0969, -0.4614],
        [-0.1034, -0.5790,  0.1497]])
>>> torch.cat((x, x, x), 1)
tensor([[ 0.6580, -1.0969, -0.4614,  0.6580, -1.0969, -0.4614,  0.6580,
         -1.0969, -0.4614],
        [-0.1034, -0.5790,  0.1497, -0.1034, -0.5790,  0.1497, -0.1034,
         -0.5790,  0.1497]])
>>> x = torch.randn(2, 3, 3)
>>> torch.cat((x, x, x), -3).size()
torch.Size([6, 3, 3])
>>> torch.cat((x, x, x), 0).size()
torch.Size([6, 3, 3])
>>> torch.cat((x, x, x), -2).size()
torch.Size([2, 9, 3])
>>> torch.cat((x, x, x), 1).size()
torch.Size([2, 9, 3])

torch.split()函数

torch.split(tensor, split_size_or_sections, dim=0)
#将张量拆分为多个块。
#如果split_size_or_sections是整数类型，则张量将被分成相等大小的块（如果可能）。
#如果沿着给定维度dim的张量大小不能被split_size整除，则最后一个块会更小。 
#如果split_size_or_sections是一个列表，则张量将根据split_size_or_sections分为len（split_size_or_sections）个块，其大小为dim。
#tensor (Tensor) – tensor to split.
#split_size_or_sections (int) or (list(int)) – 单个块的大小或每个块的大小列表
#dim (int) – 分割张量的尺寸

torch.chunk()函数

torch.chunk(input, chunks, dim=0) → List of Tensors
#将张量拆分为特定数量的块。 
#如果沿着给定维度dim的张量大小无法被块整除，则最后一个块将更小。
#input (Tensor) – the tensor to split
#chunks (int) – 要返回的块数
#dim (int) – 分割张量的尺寸

torch.stack()函数

#将张量的序列沿新维度连接起来。 所有张量都必须具有相同的大小。
#example
>>> x = torch.randn(2, 3)
>>> torch.stack((x, x, x), 0).size()
torch.Size([3, 2, 3])
>>> torch.stack((x, x, x), 1).size()
torch.Size([2, 3, 3])
>>> torch.stack((x, x, x), 2).size()
torch.Size([2, 3, 3])
>>> torch.stack((x, x, x), 3).size()
IndexError: Dimension out of range (expected to be in range of [-3, 2], but got 3)