Bin_Dut的博客

日志：保存训练过程中的日志信息，包括损失、指标和训练时间等信息。对象的状态，包括当前的 epoch 和 batch 等信息。优化器状态：保存优化器的状态，包括当前的学习率和动量等信息。参数来控制是否保存模型的权重、最后一次保存的模型权重和。，则只会保存模型的权重，而不会保存其他信息。在需要从断点继续训练的时候，创建一个新的。参数来指定要继续训练的模型状态的路径。对象的状态以及其他信息。参数来指定要恢复训练的检查点路径。参数，以指示从该检查点处恢复训练。回调来保存模型的状态。模型权重：保存模型的权重参数。

在 PyTorch 中，有多种方法可以执行张量之间的乘法。两个矩阵相乘，第一个矩阵的列数必须等于第二个矩阵的行数。()`对应位置的元素相乘，输入张量形状必须相同或。：对于具有更高维度的张量（点积），可以使用。换句话说，输入张量的形状应为。此外，第一个输入张量的。必须与第二个输入张量的。两个一维张量的点积。

使两者形状互相兼容。广播提供了一个向量化数组操作的机制，这样遍历就发生在C层面，而不是Python层面。广播可以避免不必要的数据复制，通常导向高效的算法实现。不过，也存在不适用广播的情形（可能导致拖慢计算过程的低效内存使用）。in-place operation称为原地操作符，在pytorch中是指改变一个tensor的值的时候，不经过复制操作，而是直接在原来的内存上改变它的值。in-place操作不允许tensor像广播那样改变形状。在满足特定限制的前提下，的数组上应用算术运算。