Willowii的博客

在自注意力机制中，输入序列中的每一个元素既充当Query，又充当Key和Value。这意味着，序列中的每个元素都会与序列中的其他所有元素进行交互，从而捕捉全局依赖关系。例如，Transformer 中每个单词对句子中其他单词的注意力权重是通过自注意力计算的。自注意力机制的核心思想是通过计算输入序列中每个元素与其他元素之间的相似度，来动态调整每个元素对其他元素的关注程度。

假设有一个序列 x=[x1,x2,…,xT]，我们可以把序列的联合概率分解为多个条件概率的乘积。

全连接层存在的问题：参数过大，计算成本过高。

填充（padding）是指在输入高和宽的两侧填充元素（通常是0元素）。卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。我们将每次滑动的行数和列数称为步幅（stride）。

ModuleList是 PyTorch 中的一种容器类，位于torch.nn模块下，专门用于存储多个子模块（即网络层）。net.append(nn.Linear(256, 10)) # # 类似List的append操作print(net[-1]) # 类似List的索引访问print(net)和 Python 普通列表的区别注册模块中的所有子模块都会被注册为模型的一部分。PyTorch 会自动识别并将它们的参数纳入模型的训练和保存中。而普通的 Python 列表并不会注册其中的模块。参数追踪。

欠拟合（underfitting）：模型无法得到较低的训练误差。过拟合（overfitting）：模型的训练误差远小于它在测试数据集上的误差。正向传播（forward propagation）：对神经网络沿着从输入层到输出层的顺序，依次计算并存储模型的中间变量（包括输出）。线性层计算隐藏层使用激活函数进行非线性转换线性层计算计算损失和惩罚项目标函数。

nn模块：“nn”是neural networks（神经网络）的缩写。顾名思义，该模块定义了大量神经网络的层。Sequential可以看作是一个串联各个层的容器。在构造模型时，我们在该容器中依次添加层。当给定输入数据时，容器中的每一层将依次计算并将输出作为下一层的输入。直接在nn.Sequential()内定义：# 此处还可以传入其他层创建实例后add_module：OrderDict创建多个：每层有名字# ......]))nn里面有很多Loss。