weixin_38383877的博客

1.nn.Module类理解 pytorch里面一切自定义操作基本上都是继承nn.Module类来实现的 方法预览： class Module(object): def __init__(self): def forward(self, *input): def add_module(self, name, module): def cuda(self, device=None): def cpu(self): def __call__(self,

n为图像宽/高 f为卷积核宽/高 p为填充长度 stride为步长 卷积层后输出图像的大小：（n-f+2p)/stride 向下取整 池化层后输出图像的大小：（n-f+2p)/stride 向上取整 4.5 向下取整：4 向上取整：5 参考自：卷积层和池化层的计算公式的区别_wwu555的博客-优快云博客_卷积层和池化层的区别 ...

backward：自动求梯度。计算小批量随机梯度。 当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解 叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数 深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。 在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient d

lr*param.grad/batch_size 结果最终为一个标量（具体数值） param是一个列表 param[:]=param-lr*param.grad/batch_size会把列表中的所有元素分别运算： param-lr*param.grad/batch_size import numpy as np w=np.random.normal(scale=0.01,size=(10,1)) print(w.T) b=np.zeros(shape=(1,)) print(b) print('*