【PyTorch】UserWarning: Implicit dimension choice for softmax has been deprecated.

错误描述

UserWarning: Implicit dimension choice for softmax has been deprecated. Change the call to include dim=X as an argument.

这个警告提示了 softmax 函数在没有显式指定维度时的使用方式已经被弃用。过去，softmax 默认会对最后一个维度（通常是类别维度）执行，而在未来的 PyTorch 版本中，这种隐式的维度选择将被移除。为了避免这个警告，应该显式指定 softmax 的 dim 参数。

解决方案

修改前

attn_weights = F.softmax(self.attn(x))  

修改后

attn_weights = F.softmax(self.attn(x), dim=1)  # 显式指定 dim=1，假设对特征维度应用 softmax

如何确定 dim 的值？

1.查看输入张量的形状： 首先，你需要知道 x 或 self.attn(x) 的形状。你可以通过打印张量的形状来了解它的结构。例如：

print(x.shape)

假设 x 的形状是 (batch_size, num_features)，那么：

• dim=0：会对 batch_size 维度（即每个样本）进行归一化，通常不适用于 softmax，因为这样会在每个样本之间进行对比。
• dim=1：会对 num_features 维度（即特征维度）进行归一化。通常在神经网络中的 softmax 用于对每个样本的特征进行归一化，这通常是你想要的操作。

2.根据模型的目的： 在注意力机制中，通常 softmax 是用来对特征维度进行归一化的，这意味着你希望在每个样本的特征之间应用 softmax，所以 dim=1 是最常见的选择。