torch.Tensor.uniform_ 和torch.numel

torch.Tensor.uniform_

在 PyTorch 中，函数或方法名末尾带有下划线（_）通常表示这是一个 in-place 操作，也就是说，这个操作会直接修改原始张量Tensor的内容，而不是创建一个新的张量。

torch.Tensor.uniform_ 是一个例子。这个方法会将Tensor的值替换为均匀分布的随机数。带有下划线的 in-place 操作方法通常比非 in-place 操作更节省内存，但需要小心使用，因为它们会改变原始数据。(注意⚠️没有torch.Tensor.uniform这个方法)

import torch

phi = torch.empty(5, 3).uniform_(0,1)
phi

#输出
tensor([[0.1814, 0.9549, 0.3581],
        [0.7673, 0.7157, 0.2609],
        [0.6042, 0.4815, 0.6890],
        [0.5536, 0.0687, 0.4459],
        [0.4212, 0.9510, 0.6925]])

torch.numel

和 Tensor.numel()用法相同。
作用都是：返回tensor中所有的参数。

>>> a = torch.randn(1, 2, 3, 4, 5)
>>> torch.numel(a)
120

def check_trainable_params(model):
    return sum(p.numel() for p in model.parameters() if p.requires_grad)