- 博客(5)
- 收藏
- 关注
RSS订阅原创 nn.Linear不需要自定义参数初始值？
如果你想要手动控制初始化，可以使用 PyTorch 提供的初始化函数，比如或。import torch.nn.init as init # 使用 Xavier 初始化权重 init.xavier_uniform_(linear_layer.weight) # 偏置初始化为零 init.zeros_(linear_layer.bias)这样，你可以更精确地控制模型的参数初始化，尤其是在更复杂的模型中，适当的初始化可以帮助加速训练收敛。
2024-09-26 17:26:24
425
原创 小批量随机优化算法为何要除以批量大小batch_size?
在小批量随机梯度下降（Mini-batch Stochastic Gradient Descent, SGD）中，将梯度除以批量大小（batch_size）的主要原因是，从而保持更新步伐的一致性。
2024-09-26 11:31:15
538
原创 python中yield和return的区别
yield和return是 Python 中的两个关键字，主要用于从函数中返回值。它们的主要区别在于它们的工作方式和应用场景。
2024-09-25 12:01:26
515
原创 李沐·线性回归笔记
这里的y.detach()本质上是并不是把y这个变量的计算过程移出计算图，而是创造一个新的变量u来接收一个与y数值相同，但是不在y所在的计算图中的变量。意味着即使我们对y.detach()后，如果我们直接用z=y*x去计算x的梯度，结果就是y仍然参与了x的梯度计算。换句话说，梯度不会向后流经。具有相同的值， 但丢弃计算图中如何计算。想象一下，我们想计算。因此，下面的反向传播函数计算。的梯度，但由于某种原因，希望将。视为一个常数， 并且只考虑到。作为常数处理， 而不是。被计算后发挥的作用。
2024-09-24 17:14:50
342
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人