incloud1的博客

原创 李哥考研深度学习班线性任务

人为设置初始的参数w_0和b_0，采用随机梯度下降，前向过程计算出预测值pred_y，loss = |y - pred_y|，初始时所有参数中保存的grad梯度为0，利用反向传播backward()可以得到每个参数的梯度，并对每个参数进行更新w = w-η*grad，b = b-η*grad，最终找出合适的w和b。注意：由于在张量网上的任何计算都会计算梯度，因此当我们不需要计算梯度时，需要使用with torch.no_grad()，该模型中只需要计算loss对参数的梯度，在更新参数时不需要计算梯度。