激活函数、损失函数及其梯度 1. 激活函数2. 损失函数loss 1. 激活函数 【1】激活函数简介 【2】sigmoid函数 【3】tanh函数 【3】RELU函数 2. 损失函数loss autograd.grad loss.backward F.softmax