Paddle 0-d Tensor 使用指南

Paddle 0-d Tensor 使用指南

1. 0-d Tensor 的定义

在深度学习框架中，Tensor 是存储和操作数据的基本数据结构。一个 Tensor 可以有 0 到任意多的维度,每个维度对应一个 shape 值。而 0-d Tensor，顾名思义，就是一个无任何维度的 Tensor，也被称为标量(scalar) Tensor。

从数学的角度来看，0维 Tensor 可以看作是一个单个的数值,没有向量或矩阵等更高维度的结构。例如:

import paddle

# 创建0维Tensor
scalar = paddle.to_tensor(3.14)
print(scalar, scalar.shape)
# Tensor(shape=[], dtype=float32, place=Place(cpu), stop_gradient=True,
#        3.14000010) []

可以看到，这个 scalar 是一个单个的浮点数 3.14，它的 shape 是一个空列表 []，表示没有任何维度。0-d Tensor 其对应的是Numpy的 0-D array，可以表示为 np.array(10.)，其shape为 []，维度为 0，size为 1。

对比之下，一维的 Tensor 则表示一个向量，其对应的是 Numpy的 1-D array，如果只有 1 个元素，可以表示为 np.array([10.])，其 shape 为 [1]，维度为 1，size为 1。下面我们来看一个一维 Tensor 的例子:

vector = paddle.to_tensor([1, 2, 3])
print(vector, vector.shape)
# Tensor(shape=[3], dtype=int64, place=Place(cpu), stop_gradient=True,
#        [1, 2, 3]) [3]

这里vector是一个一维张量,有3个元素,对应shape为[3]。

以上从数学角度上区分了 0-d Tensor 和 1-d Tensor，在物理学中,标量和矢量是两个基本的物理量概念。标量只有一个数值，没有方向; 而矢量除了数值外，还附带一个确定的方向。

0-d Tensor对应着物理学中的标量概念。一个 0-d Tensor，如 3.14、2.78 等，仅仅表示一个单一的数值，没有任何其他维度的信息。它可以表示一些简单的物理量,如温度、质量、电荷等。

而 1-d Tensor 则对应着矢量的概念。即使只有1个元素，如 [5.0]，它也不是一个纯标量，而是一个有确定方向的向量。这个方向在物理意义上可能表示力、速度、电场强度等有方向性的物理量。

尽管在代码实现上，0-d 和 1-d Tensor 可能没有太大的区别，但它们对应的数学和物理概念是不同的。作为开发者,明确这种区别将有助于写出更加符合数学规范、更加符合物理意义的代码,从而减少逻辑错误和调试成本。

2. 0-d Tensor 滥用为 1-d Tensor 的危害

滥用 0d Tensor 来代替1维单元素Tensor(shape为[1]) 给使用体验带来一些负面影响，主要体现在以下几个方面:

2.1 潜在的纬度错误

标量张量与仅含有一个元素的向量张量容易造成混淆，它们的元素个数相同，但在数学定义上完全不同。若将其形状表示为 shape=[1]，则无法区分标量和向量，这与数学语义和行业通用的计算规则相悖，可能导致模型出现意料之外的错误，并增加开发调试成本。

由于 0-d 和 1-d Tensor 在数学上有着本质区别，很多 API 在处理这两种情况时的行为也不尽相同。如果不加区分地混用,就可能导致 API 的行为出现异常。

import torch

x = torch.tensor(3.14) 
out = torch.stack([x, x])
print(out.shape)  # 输出 torch.Size([2])  0D升为1D，符合预期

如果 Paddle 不支持 0-d Tensor，就需要额外判断 x 是否为 1D，然后补squeeze来矫正结果，这造成了代码的冗余与可读性降低。写法如下：

import paddle

x = paddle.to_tensor(3.14)

# Paddle 写法需4行：需要额外判断x是否为1D，是就需要补squeeze来矫正结果以对齐 pytorch
if len(x.shape) == 1:
    # 因为用shape=[1]的1维替代0维，导致x[0]还是1维，stack结果为2维，出现异常升维，需要补squeeze来校正维度
    out = paddle.stack([x[0], x[0